開放安全AI聯盟目前已有逾120家成員組織，正值一年一度的Black Hat大會在拉斯維加斯開幕之際，該聯盟正積極制定新的準則，以強化智能體AI的網路安全能力。
Linux基金會近日發布了《共享AI發現交換》（Shared AI Findings Exchange，簡稱SAFE）徵求意見稿。這套擬議準則旨在將智能體網路安全事件轉化為對整個生態系統的共同防護。
SAFE準則由開放安全AI聯盟工作組負責起草，英偉達
、思科、CrowdStrike、Hugging Face和紅帽等成員與Linux基金會攜手參與了初始提案的貢獻工作。
SAFE準則提案涵蓋以下幾個核心方向：以保密方式收集和分析AI事件及未遂事故、通知受影響方、識別反覆出現的控制漏洞，以及發布基於證據的操作建議，從而降低系統性風險。
網路安全是一場沒有終點的競賽。每一次重大技術變革都會催生新的潛在攻擊面。防禦者必須立即以智能體的速度行動，才能快速保護基礎設施和智慧財產權。而實現這一目標的最佳方式，就是協同作戰。當可信生態系統開放共享威脅情報時，集體防禦的效能將成倍增長。
SAFE框架是開放安全AI聯盟成員在全AI安全棧上構建和共享開放、可檢查工具所作技術貢獻的重要組成部分。
一個AI智能體不僅僅是一個模型，它是一個系統——包含身份控制、運行框架、安全護欄、日誌和評估機制。保障其安全，遠不止漏洞掃描那麼簡單。
安全性始終在層次化架構和社區共享意願中得到最大強化。當防禦者彼此開放地、快速地相互學習，最棘手的問題才能迎刃而解。
英偉達的貢獻貫穿整個技術棧，起點是發布於GitHub上的英偉達實驗室面向對象智能體（NOOA）研究框架，該框架使智能體行為更易於測試、追蹤、審計和治理。
英偉達OpenShell運行時限制了智能體的可見範圍、可操作對象及可執行動作，在智能體層面強制執行安全和隱私控制，防止智能體訪問其無權觸及的內容。
英偉達旗下的開放模型家族——面向智能體AI的NVIDIA Nemotron、面向物理AI的NVIDIA Cosmos、面向機器人的NVIDIA Isaac GR00T、面向醫療健康與生命科學的NVIDIA BioNeMo，以及全球最大的獲許商用自動駕駛模型NVIDIA Alpamayo——均提供開放權重、數據集和訓練技術。
英偉達開源的經驗證智能體技能將這種信任延伸至能力層。每項技能提供可移植的指令集，經過分類整理、風險掃描（如提示注入和工具投毒），並附有加密簽名和技能卡文檔說明。防禦者能夠清楚地了解某項智能體技能的功能、來源，以及發布後是否曾被修改。
NeMo Guardrails、NeMo Anonymizer和NeMo Safe Synthesizer分別用於執行安全策略、保護敏感數據和生成保護隱私的合成數據。
Garak是英偉達開源的大語言模型漏洞掃描工具，可幫助安全團隊在模型上線前檢測數據泄露、提示注入和越獄等安全風險。
其他開放安全AI聯盟成員也在全防禦技術棧上積極布局，覆蓋身份與權限、運行框架、運行時護欄、安全AI模型、可觀測性與評估、數據安全與隱私、可用性與彈性等多個層次，持續貢獻新成果。
身份與權限
"無法識別，便無從防護。"
Okta正在開發智能體身份與訪問的參考實現，展示跨應用訪問（XAA）這一開放協議如何使在OpenShell沙盒環境中運行的AI智能體安全連接企業應用程式。
Palo Alto Networks貢獻了來自其下一代身份安全平台Idira的開源工具，包括Agent Guard和Agent Watch，幫助開發者和智能體構建者應用身份安全最佳實踐，例如在智能體工作流中安全獲取密鑰。
由紅帽發起的新開源項目asago，可將組織的自定義治理要求（如NIST、OWASP和歐盟AI法案中的相關規定）直接映射到智能體在運行時允許執行的操作，並提供從政策條款到實時控制的統一審計跟蹤。
框架與運行時
AI智能體不止於模型本身，它還依託開放與封閉模型、運行框架、工具和運行時系統的協同運作來完成任務。
如果說模型是智能體的大腦，運行框架便是通過工具付諸行動的軀體，它圍繞模型發揮調度作用，決定智能體如何被部署、協調和約束。
聯盟成員正在這一新興的AI安全棧層貢獻工具、框架和配套技術。
亞馬遜今日正式成為開放安全AI聯盟最新成員之一，貢獻了Strands Agents——一個構建AI智能體的開源工具包，在每個層次都保持開放，賦予開發者對智能體行為的完整可見性，並支持在生產環境中評估智能體系統。亞馬遜還貢獻了Cedar，一種開源授權語言，通過確定性、可驗證的邊界規範AI智能體的行為，為客戶提供細粒度、可分析的訪問控制，確保只有經授權的操作才能訪問企業資源。
Capital One開源了面向智能體AI代碼安全的VulnHunter工具。
Cloudflare將其漏洞發現框架作為開源技能貢獻，為智能體系統增添安全能力。
微軟AI紅隊開源了多款工具和框架。PyRIT（Python風險識別工具包）支持AI紅隊運行自動化紅隊測試，內置記憶功能，兼容常見目標及自定義端點。RAMPART將紅隊發現和真實事件轉化為隨軟體變更自動執行的可重複測試。Clarity幫助團隊在代碼編寫前質疑設計假設、識別潛在缺陷。微軟還開源了Assert，可將自然語言需求及預期的AI安全行為轉化為可執行的評估項目。
Atlas是Wiz的自主漏洞研究引擎，通過編排專業AI智能體，在代碼和開源包中發現並驗證安全缺陷。
Visa也已加入開放安全AI聯盟，貢獻了其開源的Visa漏洞智能體框架，幫助團隊快速、安全地識別問題、支持修復和驗證工作。
安全與安全模型
並非每項安全任務都需要通用模型。專用安全模型專為防禦而生：經過訓練，能夠理解代碼、定位漏洞並大規模推理威脅。它們可作為模型系統支撐智能體工作流，以開放與封閉模型協同的方式高效完成任務。
思科DefenseClaw是一個開源智能體治理層，運行於英偉達OpenShell之上，在擴展智能體規模時提供強健的自動化運行時安全保障。思科還發布了兩款Antares安全小語言模型，用於精準定位代碼庫中的已知漏洞；Project CodeGuard則將安全默認實踐直接嵌入AI編碼工作流。
CrowdStrike正在對英偉達Nemotron Nano模型進行網路防禦領域的微調。內部測試顯示，該模型在Falcon LogScale中生成調查查詢的準確率高達96%，提供了自然語言接口，顯著提升智能體調查效率。CrowdStrike還發布了研究成果，證明經過專門調優的英偉達Nemotron Nano推理模型在安全運營中心檢測分類任務上的表現超越了規模大得多的模型，同時引入經過校準的基於logit的置信度機制，實現可量化、可調節、可審計的自主安全決策。
Mistral今日以Apache 2.0協議開源發布了其全新的Shieldstral多模態安全分類器模型。
可觀測性與評估
了解智能體的行為只是全貌的一部分，防禦者還需要理解其行為動機、系統是否安全運行，以及現實世界中攻擊手法的演變趨勢。
Akamai藉助其網際網路現狀報告和安全情報組的研究成果，基於真實世界數據揭示AI時代的威脅態勢，解析新興漏洞利用手法，助力防禦者學習、適應和響應。Cognition發布了一項可信度評估，用于衡量開源衍生模型的對齊性和安全風險，並證明這些風險可通過訓練後處理加以緩解。
Numbat是Perplexity面向客戶端的開源智能體安全套件，可在macOS、Linux和Windows上檢測、調查和阻止智能體活動，為防禦者提供智能體實際行為的結構化記錄。
Uber開源了ADR（智能體AI檢測與響應）的核心組件，這是一套生產級系統，可重建AI智能體活動的完整因果鏈——從提示詞到推理過程、工具調用再到最終結果——幫助安全團隊檢測威脅。目前，ADR每天跨30,000個端點處理超過20萬個智能體會話，採用兩級分析方法，將高效檢測與針對高置信度威脅的深度調查相結合。
可用性與彈性
智能體系統必須在受到干擾時保持可靠運行，能夠遏制故障蔓延並安全恢復，同時不丟失關鍵狀態或暴露更廣泛的運行環境。
LangChain正在為其開源框架——Deep Agents、LangGraph和LangChain——增添彈性能力，使智能體能夠重試被中斷的任務、遵循安全恢復路徑、從保存的狀態恢復而非從頭開始，並在主模型失效時自動切換至備用模型。
Veeam通過Kanister等技術幫助組織保持AI相關數據和基礎設施的彈性與可恢復性。Kanister是其面向Kubernetes數據保護的開源框架，幫助團隊保護和恢復AI工作負載、向量資料庫及數據，使其還原至經過驗證的已知良好狀態。
更多貢獻仍在持續湧入。當成員發布可復用的緩解措施時，整個生態系統的防禦者都可以檢視、改進和優化，推動安全實踐隨AI發展而不斷演進。
如需了解更多資訊或表達加入開放安全AI聯盟的意願，請訪問官方頁面進行申請。
Q&A
Q1：SAFE準則是什麼？它的主要目標是什麼？
A：SAFE（共享AI發現交換）是由開放安全AI聯盟工作組起草的一套擬議準則，旨在將智能體網路安全事件轉化為對整個生態系統的共同防護。其核心目標包括：以保密方式收集和分析AI事件及未遂事故、通知受影響方、識別反覆出現的控制漏洞，並發布基於證據的操作建議，從而降低系統性風險，推動防禦者開放共享威脅情報，實現集體防禦。
Q2：英偉達在開放安全AI聯盟中貢獻了哪些具體工具？
A：英偉達的貢獻貫穿整個技術棧：NOOA研究框架便於測試、追蹤、審計智能體行為；OpenShell運行時限制智能體的訪問權限；開源模型家族包括Nemotron、Cosmos、Isaac GR00T、BioNeMo和Alpamayo；開源經驗證的智能體技能，附有加密簽名和技能卡；NeMo Guardrails、NeMo Anonymizer和NeMo Safe Synthesizer用於安全策略和數據保護；Garak是開源大語言模型漏洞掃描工具。
Q3：除英偉達外，還有哪些企業參與了開放安全AI聯盟的貢獻？
A：多家企業積極參與貢獻：亞馬遜貢獻了Strands Agents和Cedar；微軟AI紅隊開源了PyRIT、RAMPART、Clarity和Assert；思科貢獻了DefenseClaw和Antares安全模型；CrowdStrike對Nemotron Nano進行了網路防禦微調；Palo Alto Networks貢獻了Agent Guard和Agent Watch；Uber開源了ADR智能體檢測響應系統；LangChain為開源框架增添彈性能力；Mistral發布了Shieldstral安全分類器模型。
