隨著 AI 從生成答案邁向自主行動，安全防護不再局限於模型本身，而必須覆蓋將智能決策轉化為實際行動的完整系統
在生成式人工智慧(AI)時代，關於安全的討論大多聚焦於保護模型、提示詞和數據。而智能體 AI 時代則為安全挑戰增加了新的維度，因為如今 AI 已經能夠自主使用工具、訪問系統、編寫代碼，並以機器速度執行操作。航班預訂就是一個典型例子，生成式 AI 系統可能只會向用戶提出航班預訂建議，而智能體系統則可以自行檢索票價、調用已保存的支付資訊，代表用戶完成預訂操作。
智能體時代的安全基礎並沒有改變，仍包含身份識別、最小權限原則、隔離機制、可信執行、內存安全、監測和韌性設計等核心要素。但變化在於其運行模式。隨著智能體能夠自主行動、動態選擇操作，並跨越不同軟體、基礎設施、邊緣設備和物理系統運行，它們需要明確且可強制執行的邊界來限定其訪問範圍和行動權限。僅保護模型已不再足夠，安全防線必須覆蓋從智能到行動的完整路徑。
這也是推動智能體 AI 大規模應用的關鍵。組織需要確信自主系統始終在既定邊界內運行，其行為能夠被追蹤和歸因，並且當異常行為出現，能夠得到有效控制。安全本身並不能直接建立信任，信任最終取決於用戶、應用場景以及風險等級，但安全可以提供可核驗的邊界、問責機制與系統韌性，這正是構建信任的基礎。
Arm 執行副總裁兼首席商務官 Will Abbey 闡述了行業向智能體 AI 轉變的趨勢，以及這一變革對雲、邊緣與物理世界應用場景帶來的影響
智能體 AI 需要全棧安全防護
沒有任何單一的安全機制能夠保護從推理到執行的完整路徑。智能體時代的安全需要多種互補的控制機制，覆蓋智能體運行時、軟體棧、主機計算平台、基礎設施，以及最終執行決策的設備和系統。
系統必須能夠識別執行操作的主體、依據用戶的權限開展活動，並確保其僅能執行被授權的操作。當智能體動態選擇行動，相關策略必須始終能夠得到有效執行。同時，操作過程需要具備可觀測性，確保自主行為的責任可追溯。當出現異常時，系統還需具備相應機制，遏制意外或未經授權的行為。
這些要求背後的基本架構原則很明確：作出決策的組件，不應同時擁有批准該決策是否被允許的唯一權限。模型負責提出行動方案，系統負責授權，並確保相關約束得到執行。
要將這一原則落到實處，需要在智能與行動之間的多個環節建立安全防護：
· 建立可信執行環境;
· 保護從決策到執行的路徑;
· 通過獨立機制，判斷某項操作是否獲准執行;
· 保護最終執行該操作的設備或系統。
Arm 數十年來在安全計算領域的積累，在此尤為重要。Arm 提供覆蓋信任根(RoT)、安全啟動、度量啟動、遠程認證、隔離機制以及內存安全等方面的基礎架構，同時配套參考軟體、應用程式編程接口(API)和生態支持，幫助開發者便捷調用上述各項能力。
這些技術從系統不同環節應對智能體 AI 的安全挑戰。安全啟動和遠程認證有助於驗證工作負載和安全控制機制是否在預期環境中運行。然而，驗證環境只是挑戰的一部分，攻擊者仍可能利用智能體運行時、工具宿主或策略執行軟體中的漏洞，繞過安全控制或觸發未授權操作。Arm 內存標記擴展(MTE)等內存安全技術，以及其他架構級的防禦機制，則能夠幫助降低這類風險，使推理與執行之間的軟體鏈路中存在的某些內存安全漏洞更難被利用。
Arm 內存標記擴展詳解
隨著智能體獲得對私有上下文、記憶和狀態的持續訪問權限，安全機制還必須負責管理敏感數據的釋放條件。在信任要求更高的工作流程中，遠程證明機制可以先驗證執行環境的可信性，再向智能體開放受保護的上下文數據。
針對智能體實施獨立安全管控
基礎設施安全是智能體時代的另一個重要維度。隨著智能體能力不斷提升並具備持續運行能力，基礎設施不僅需要計算資源來執行智能體工作負載，還需要獨立的計算資源，對其進行觀測、管控和約束。
CPU 與 DPU 協同架構，是這一原則的典型實現方式，它們均基於 Arm 提供統一的計算基礎。CPU 負責運行智能體運行時、執行框架、編排系統、工具調用以及應用程式;DPU 能夠為網路、監測、隔離以及安全服務等基礎設施功能提供獨立的運行環境。
Arm CPU 託管並運行智能體工作負載，而基於 Arm 架構的 DPU 則獨立地對其進行觀測、管控、隔離和保護
這進一步印證一項原則：當安全管控機制與受監管的進程相互隔離，管控效力會得到強化。NVIDIA 最新發布的 NVIDIA 開放智能體安全平台(NVIDIA Open Agent Safety Platform)展示了這一架構模式如何應用於智能體基礎設施。
安全防護必須隨行動延伸
隨著智能體工作流逐漸從數據中心，延伸至 PC、智慧型手機、邊緣設備和物理 AI 系統，安全挑戰的範圍也隨之擴大。未來，一個智能體可能在雲端利用模型完成推理，在邊緣設備上處理私有上下文數據，最終通過機器人或工業設備執行實際操作。
因此，安全能力需要沿兩個維度持續擴展：
1. 貫穿每個系統內部的計算棧;
2. 覆蓋智能體接觸的每一個計算環境。
所有計算環境都遵循同一核心原則：智能體僅可訪問已授權的資源、執行獲準的操作。然而，與雲和數據中心相比，邊緣和物理 AI 系統面臨著不同的挑戰。
跨邊緣、雲和物理環境的智能體工作流
消費設備、攝影機、機器人、汽車及工業設備，並不像雲端虛擬資源那樣容易實現隔離。當智能決策越來越多地轉化為現實世界中的物理行動，安全機制必須貫穿軟體、通信鏈路以及最終執行這些操作的設備。這對設備的身份、通信認證、權限管理、設備側策略執行、可審計性提出了更多要求。Arm Device Connect 為 AI 智能體與各類異構設備之間的發現與交互提供統一方式，幫助構建支持身份認證、權限管理和治理機制的連接層。
此外，隨著智能體越來越多地與物理設備和系統交互，智能體安全還必須與現有設備安全以及功能安全體系相銜接。身份識別、身份認證和授權機制需要延伸到設備端，並與設備端的約束機制、運行限制條件、故障保護機制，以及用於保障物理系統安全運行的各類既有安全機制協同運作。資訊安全機制決定某項操作是否獲得授權，功能安全機制則決定該操作能否在既定的安全運行範圍內執行。當智能體 AI 走進物理系統，二者必須協同發揮作用。
圍繞智能構建安全體系
從生成式 AI 向智能體 AI 的轉變，改變了 AI 安全領域的一項基本預設。過去，模型只負責生成資訊，由人來決定是否據此採取行動;如今，智能體 AI 系統已經能夠自主發起行動。安全防護必須從僅保護模型和數據，擴展到管控從推理到執行的整個過程。
這也催生了一種全新的 AI 架構模式：模型決定所要執行的行動，由獨立系統判定該行動是否可獲准執行。從信任根、遠程認證，到內存安全、獨立基礎設施管控與設備身份認證，隨著智能體 AI 從雲端擴展至邊緣和物理系統，每一層技術都在幫助強化這種職責分離機制。
Arm 提供統一的架構基礎與安全技術，幫助在整個系統層級落實這些邊界約束。隨著智能體 AI 獲得越來越強的自主行動能力和執行能力，相應的安全保護也同步擴展，並發揮作用。
– 結束 –
