英偉達
於本周推出了一套名為「開放智能體安全平台」（Open Agent Safety Platform）的智能體治理系統，該方案將軟體與基於DPU的帶外晶片相結合，構成一套參考系統設計，公司稱其能夠「從測試到部署」全程保障智能體安全。
不過，儘管該設計中基於晶片的組件提供了一定的網路安全優勢，分析人士指出，這一方案無法解決智能體所面臨的絕大多數問題。
英偉達的這套方案依託其OpenShell軟體，承諾「在運行智能體的軟體、硬體、算力和機器人系統之間實現全棧治理與控制」，公司在新聞稿中表示。「作為開源軟體，OpenShell軟體提供了一個安全的運行時邊界，能夠追蹤所有操作，並在智能體運行於英偉達Vera CPU上時強制執行策略。OpenShell可以擴展，以兼容包括Arm和英特爾在內的第三方算力平台。」
開放智能體安全平台的參考系統設計中包含英偉達Sentry，這是一款帶外看門狗系統，運行在英偉達BlueField-4 DPU上，持續監控智能體行為。新聞稿中提到：「Sentry提供晶片層面的安全執行能力，這意味著一旦AI智能體試圖越出其軟體邊界，Sentry能夠在毫秒級時間內將其隔離並阻止。」
在一篇聚焦其「安全平台」細節的開發者部落格文章中，英偉達將其方案描述為「在沙盒環境中以核心級隔離方式執行自主AI智能體的安全運行時」，並表示「開放模型的一個優勢在於，整個推理空間與激活狀態都是可見的」。
該平台的各組件正由眾多合作夥伴推進落地，名單包括花旗集團、摩根大通、Anthropic、思科、CrowdStrike、戴爾科技、Figure、慧與（HPE）、Hugging Face、微軟、Palantir、Palo Alto Networks、Perplexity、紅帽、Salesforce、SAP、Scale AI、ServiceNow以及SpaceXAI等。
Gartner高級總監分析師蘿倫·科努蒂克（Lauren Kornutick）對英偉達此舉總體表示讚賞，稱其「從一個有趣的角度，即硬體層面來解決問題，是朝正確方向邁出的一大步」。
但科努蒂克表示，她對已公布的支持者名單印象不深，並指出「一些重要玩家明顯缺席」，包括OpenAI、亞馬遜和谷歌。
其他分析師和諮詢顧問表示，這一技術實現令人印象深刻，也帶來了明顯的益處，但他們強調，該方案忽略了企業首席資訊安全官（CISO）在管理和保護自主智能體時真正面臨的全局性困境。
最大的挑戰在於，企業環境中充斥著大量未經IT部門或網路安全團隊批准的智能體。通常情況下，這些團隊甚至根本不知道這些帶有權限憑證的智能體的存在。
「問題的局限在於覆蓋面，」諮詢公司Control Risks合伙人布萊恩·萊文（Brian Levine）表示。「這些控制手段只能治理你部署在自己掌控的基礎設施上的智能體。但對於業務部門在某個SaaS平台上自行搭建的智能體、嵌入在供應商產品中的智能體，或者攻擊者自帶的智能體，這些控制手段毫無作用。如果你根本不知道某個智能體的存在，就無法讓它遵守策略。發現與清點才是第一步，這既是技術挑戰，也是治理挑戰。」
紐約技術諮詢公司Tribeca Softech首席戰略官阿曼·馬哈帕特拉（Aman Mahapatra）也認同英偉達方案存在局限性。
「執行機制只適用於在受治理運行時內運行的智能體，」他說。「運行時治理保護的是你已經知道的那些智能體，而這恰恰是最不需要保護的那部分。」
不過，馬哈帕特拉表示，這並不意味著該方案是徒勞的。
「出於一個具體原因，這套方案有相當大的機會讓情況明顯改善：Sentry在BlueField-4 DPU上以帶外方式運行，處於一個英偉達所稱的、對智能體和攻擊者均不可見的隔離信任域中，」他說。「你無法繞過一個你根本察覺不到的控制機制，也無法說服一個DPU放棄執行策略。概率性推理必須被夾在模型無法影響的確定性層之間，並配備一個只讀不寫的監督功能。Sentry正是將這一原則下沉到晶片層面的體現，而晶片正是實現這一原則的恰當之處。」
IDC人工智慧基礎設施副總裁布倫特·埃利斯（Brent Ellis）也表示認同。他估計該方案能解決的企業智能體網路安全問題「可能不到25%」。
他補充說，該方案還存在供應商鎖定的問題。儘管英偉達目前在企業AI硬體市場占據著近乎垂直壟斷的巨大份額，但埃利斯表示，他預計這一比例會下降，因為「競爭對手正開始具備可行性」，尤其是那些已投資自研晶片的超大規模雲服務商。
但對於絕大多數以英偉達為主要供應商的企業而言，這種硬體化方案是很有意義的，埃利斯表示。那麼，英偉達這套平台是否真有機會讓企業智能體網路安全狀況實質性改善？
「對於在該平台內運行的智能體來說，答案是肯定的，」他說。「不過這是一個很大的『如果』。目前存在大量非英偉達的智能體基礎設施，而在Vera和BlueField推出之前就已部署的架構，能夠採用該平台中哪些組件也十分有限。」
在這一前提下，埃利斯表示情況開始變得樂觀起來。「在能夠採用該平台所有組件的環境中，你可以將執行機制從模型層和應用層剝離出來——而智能體一直在這些層面上通過對話或代碼繞過控制。然後你可以將執行機制下移到運行時和晶片層面，這是一道更難突破的屏障。Sentry具體來說，讓DPU成為一個更難被繞過的『交通警察』。」
不過他也指出，一些攻擊仍然可以利用治理層面的薄弱環節。
「看看最近OpenAI事件的發展過程，」他指出。「智能體並沒有突破沙盒的壁壘，而是穿過了周邊環境安全中漏洞百出的部分：被當作留言板使用的共享代碼倉庫、代表智能體抓取網際網路內容的服務，以及相鄰系統中未修補的漏洞。」
Dickson Research首席分析師弗蘭克·迪克森（Frank Dickson）表示，他喜歡英偉達的這套平台，因為它避免了過去在保護智能體系統方面所犯的一些戰略性錯誤。
「過去兩年裡，這個行業一直試圖通過要求智能體『自律』來實現安全，把護欄硬塞進提示詞、模型和運行框架之中。這種做法註定會失敗，」他說。「英偉達終於把執行機制放到了它應該在的位置：在智能體之外，在核心中，在一個檢查每一個出站請求的代理層中，以及智能體無法看見也無法觸及的晶片中。你不能指望讓囚犯自己鎖上自己的牢房。每一個認真做智能體平台的廠商都必須效仿這種設計。」
迪克森表示，英偉達的方案並非在智能體行為失控後再去補救，而是致力於從源頭上防止問題發生。
「OpenShell會在每一個出站請求離開沙盒之前對照策略進行檢查，其策略驗證器則在智能體運行之前就先檢查權限，」迪克森說。「英偉達聲稱Sentry能在毫秒級時間內將行為失控的智能體隔離。」
這與OpenAI近期報告的智能體問題處理所耗費的時間形成了鮮明對比，當時一個OpenAI智能體繞過了網路限制，與一個外部聊天機器人進行了通信。OpenAI報告稱：「人工審核人員僅用三分鐘就確認了系統生成的DNS警報，但又過了兩個半小時之後，訓練運行才被終止。」
諮詢公司Acceligence首席執行官賈斯汀·格里斯（Justin Greis）也認同英偉達這一方案是可靠的，但他強調，AI智能體一直以善於找到規避限制的方法而「聞名」。
「我們應當假設，能力越來越強的智能體會去試探邊界、發現意料之外的路徑，並利用模糊之處加以利用。安全保障不能寄託於智能體『自覺』不去這樣做，」他說。「但即便是硬體層面強制執行的控制機制，其效果也僅取決於我們所設定的邊界和策略本身的質量。」
他指出，如果用戶不慎授權了一條合法路徑，而該路徑最終導致了危險的結果，智能體其實並不需要規避任何安全控制機制就能造成問題。「權限配置錯誤、權限過度授予、若干單獨看來無害的能力組合在一起產生的風險、受到入侵的第三方，以及發生在受治理環境之外的活動，這些仍然是非常真實的問題，」他說。
本文原載於CSOonline。
Q&A
Q1：英偉達開放智能體安全平台是什麼？
A：這是英偉達推出的一套智能體治理系統，結合OpenShell軟體與基於BlueField-4 DPU的帶外晶片組件，提供從測試到部署的全棧安全治理，核心是通過Sentry監控系統在毫秒級時間內隔離越界的AI智能體。
Q2：英偉達Sentry如何監控和阻止異常智能體行為？
A：Sentry是運行在BlueField-4 DPU上的帶外看門狗系統，能夠持續監控智能體行為，一旦檢測到智能體試圖越出其軟體邊界，就會在毫秒級時間內將其隔離並停止運行，實現晶片層面的安全執行。
Q3：這套平台能解決企業智能體網路安全的所有問題嗎？
A：不能。分析師指出該方案只能覆蓋約25%的企業智能體安全問題，因為它只能治理在英偉達硬體和受控基礎設施上運行的智能體，無法應對業務部門自行搭建、供應商產品內嵌或攻擊者帶入的未知智能體。
