(絕色新聞)資策會產業情報研究所（MIC）聚焦生成式AI產品應用型態發展，分析AI引發的資安風險與網路攻擊，以及因此衍生的防護發展。另一方面，觀察生成式AI市場發展，投資規模與廠商數量仍急劇增加，顯示市場抱持高度期待與信心，生態角色競合也更加激烈。

產業顧問韓揚銘表示，MIC調查，2024年臺灣五大行業有採生成式AI意願或相關行動的比例已達19%，其中，金融保險業高達25%、製造業22%居次。面對生成式AI快速改變公司流程、產品創新、商業模式與生態，企業除了即時掌握生成式AI應用發展，也應思考如何導入來提高效益，建議企業依據生成式AI的三種不同應用型態，思考新興產品與服務。

(1)  功能嵌入（Feature Embedding）

以單點AI功能嵌入方式提升流程效率，如重點總結工具、協助回覆訊息等，整個流程以人為主導，部分關鍵決策點才運用生成式AI。

(2)  人機協作（Copilot）

應用檢索增強生成（RAG）技術，隨時取得最新資訊並即時反應，多模態能力將大量運用到Copilot型態產品，以無縫接軌互動方式，如貼身助手般協助人完成工作。

(3)  AI代理（AI Agent）

具有AI能力，可高度代理人類工作，也是邁向通用人工智慧（AGI）的階段性成果，AI代理甚至可多角色執行不同工作任務，一同促成共同工作目標。

韓揚銘表示，不同應用形態展示出生成式AI在提高工作效率、增強用戶體驗與推動創新的巨大潛力與商機，預期將顛覆軟體產業與許多既有流程，改變產品設計模式，增加溝通介面、工具連結等需求。

不過，即使系統有不同的服務模式，要建立生成式AI系統仍有許多難題，包含建立可信任AI機制、對應新舊軟體的工程挑戰、遵循全球AI監管治理政策等。生成式AI的影響也帶來許多議題思考，在提升生產力與產值、提供淨零轉型數位工具的同時也衝擊就業市場，帶來能耗等問題。長遠來看，生成式AI是否能穩健發展，將取決於未來如何平衡技術創新與社會信任、經濟效益與環境責任，以及遵守日益嚴格的AI政策法律框架。

此外，AI發展帶來新的資安風險，也驅動防護發展與商機。第一類資安威脅是以AI系統為攻擊目標，包含資料處理階段的資料污染，以及模型部屬後攻擊，情境如模型遭竊導致對抗性攻擊、提示注入導致資料外洩，以及AI蠕蟲，特別是RAG技術可存取企業知識庫，形成新的攻擊途徑，加上AI自主行為情境複雜且管理不易，使得零信任機制面臨極大挑戰。第二類是駭客利用AI進行網路攻擊，如DeepFake、識別系統漏洞、網路釣魚郵件，生成式AI可加速駭客學習新知與開發攻擊程式。

不同的威脅與攻擊樣態衍生不同的資安防護與商機。MIC表示，資安已是國安層面的議題，推動AI監管法規已成為國際共識並逐漸具體化，為此，企業須配合制定策略、流程，產出符合法規要求的評測與透明度報告，驅動可信任AI的流程與技術發展。MIC資深產業分析師徐暐釗指出，這部分涉及AIOps、攻擊偵測、弱點管理與紅隊演練等技術，直接影響AI資安新創的發展方向。觀察過去一年成長最多的AI資安新創，即是AI治理、風險與法遵（GRC）等整合型資安新創，偏重模型開發階段與攻擊偵測的新創公司，也因法遵需求而發展全面性解決方案。

因應AI網路攻擊，AI在網路安全、防護應用方面具有巨大潛力，特別是以下四面向：偵測異常網路行為、強化威脅情資分析能力、強化弱點管理以及偵測AI生成的文字與圖像詐欺。

徐暐釗指出，未來5年內，全球AI網路安全市場規模將超過350億美元。面對AI資安威脅，員工也是防護的關鍵一環，企業除了採取更主動與動態的安全策略，更須強化員工資安教育與培訓，提高企業對威脅的認識與應對能力。另外，開發者在AI整個生命週期都必須考慮資安，即使AI有強大的工作代理能力，也應避免賦予不恰當的權限。(圖/pixabay)