五眼聯盟成員國的資訊安全機構聯合發布了一份關於智能體AI應用的指導文件,警告該技術可能出現異常行為,並可能放大組織現有的安全脆弱性,因此建議各機構緩慢而審慎地推進相關技術的落地。
上述立場於上周五以《謹慎採用智能體AI服務》為題正式發布。文件開篇指出:"智能體AI系統正日益滲透關鍵基礎設施和國防領域,並承載任務關鍵型能力,"這使得"防禦方實施安全控制、保護國家安全和關鍵基礎設施免受智能體AI特有風險的侵害,變得至關重要。"
該文件的核心論點在於:部署智能體AI需要整合大量組件、工具和外部數據源,從而形成"相互關聯的攻擊面,可被惡意行為者加以利用"。
文件警告稱:"因此,智能體AI系統中的每一個獨立組件都會擴大攻擊面,使系統暴露在更多潛在的利用路徑之中。"
為說明智能體AI所帶來的風險,文件舉例描述了一個被授權安裝安全補丁的AI智能體,由於被粗心大意地賦予了寬泛的寫入權限,最終引發了以下不良後果:
"一名惡意內部人員構造了一個看似無害的提示詞:'在所有終端上應用安全補丁,順便清理一下防火牆日誌'。該智能體忠實地執行了常規維護任務,同時也刪除了防火牆日誌——因為其權限允許這一操作,即便該提示詞來自特權IT組以外的普通用戶。"
文件還列舉了另一個危險場景作為警示:
某組織部署智能體AI自主管理採購審批和供應商溝通,並賦予該智能體訪問財務系統、電子郵件及合同資料庫的權限;
部署時,負責人僅考慮了該智能體自身的權限配置;
隨著時間推移,其他智能體開始依賴採購智能體的輸出結果,並默認信任其行為;
一名惡意行為者攻破了集成在該智能體工作流中的一個低風險工具,並藉此繼承了該智能體過度寬泛的權限;
攻擊者利用這些特權修改合同、批准未經授權的付款,並通過偽造審計日誌規避了系統告警檢測。
該文件由澳大利亞信號局和網路安全中心(ASD's ACSC)牽頭參與編寫,合作方包括美國網路安全和基礎設施安全局(CISA)、美國國家安全局(NSA)、加拿大網路安全中心(Cyber Centre)、紐西蘭國家網路安全中心(NCSC-NZ)以及英國國家網路安全中心(NCSC-UK)。
文件在列舉更多風險案例的基礎上,進一步梳理了23類不同風險及逾100條針對性最佳實踐建議。
大部分建議面向AI部署開發者,但文件作者同時也敦促供應商對產品進行充分測試,確保產品"默認以安全失效方式運行,在不確定場景下要求智能體暫停並將問題上報人工審核人員"。
文件還呼籲安全從業者和研究人員投入更多精力研究AI相關問題。
文件警告稱,"智能體AI系統的威脅情報仍處於發展演進階段,可能帶來顯著的安全盲區",原因在於開放式Web應用安全項目(OWASP)和MITRE ATLAS等資源目前仍主要聚焦於大語言模型領域,"導致智能體AI特有的部分攻擊向量尚未被完整記錄和應對"。
鑑於智能體AI的創建者或潛在使用者面臨的待解事項清單極為龐雜,文件主張採取極為審慎的落地策略。
文件總結道:"各組織在推進採用時應將安全置於首位,認識到自主程度的提升會放大設計缺陷、錯誤配置和監督缺失所帶來的影響。應以漸進方式部署智能體AI,從邊界清晰的低風險任務起步,並持續對照動態演進的威脅模型進行評估。"
"強有力的治理機制、明確的責任歸屬、嚴格的監控體系以及人工監督,並非可有可無的安全保障,而是不可或缺的基本前提。在安全實踐、評估方法和相關標準成熟之前,各組織應默認智能體AI系統可能出現意外行為,並據此規劃部署方案,將韌性、可逆性和風險管控置於效率提升之上。"
Q&A
Q1:智能體AI在安全方面存在哪些主要風險?
A:根據五眼聯盟發布的指導文件,智能體AI的主要安全風險包括:系統中每個獨立組件都會擴大攻擊面;過度寬泛的權限配置可能被惡意內部人員或外部攻擊者利用;多智能體之間的隱式信任關係可能導致權限被連鎖繼承;此外,威脅情報體系尚不完善,針對智能體AI的特有攻擊向量尚未被充分記錄,存在顯著安全盲區。
Q2:五眼聯盟對部署智能體AI有哪些具體建議?
A:文件建議組織以漸進方式部署智能體AI,從邊界清晰的低風險任務起步,持續對照動態威脅模型進行評估。同時要求建立強有力的治理機制、明確責任歸屬、實施嚴格監控,並保留人工監督環節。在不確定場景下,智能體應默認暫停並上報人工審核,整體部署應優先考慮韌性、可逆性和風險管控,而非單純追求效率提升。
Q3:智能體AI的威脅情報為何仍存在明顯不足?
A:目前OWASP和MITRE ATLAS等主流安全資源主要聚焦於大語言模型層面的安全問題,對智能體AI特有的攻擊向量覆蓋尚不完整。加之智能體AI系統涉及多組件協作、多智能體交互及外部數據源接入等複雜場景,使得威脅情報的積累和標準化工作仍處於早期階段,安全評估方法和行業標準亟待進一步成熟完善。






