微軟近日開源了兩款全新工具——Rampart與Clarity，旨在將AI安全檢測大幅提前至智能體開發生命周期的早期階段。
微軟AI紅隊創始人Ram Shankar Siva Kumar在一篇安全部落格中表示："我們開發這些工具，是因為我們堅信AI安全必須成為一項持續的工程學科，而非僅是定期進行的檢查節點。我們認為，實現這一目標的最佳方式，就是將實用的開源工具交到實際構建系統的人手中。"
此次發布的背景，是AI智能體正從聊天機器人式助手演變為擁有實際操作權限的系統。微軟指出，新一代智能體帶來了傳統應用安全流程無法應對的風險，包括提示注入、不安全的工具調用、權限升級以及意外的自主行為等。
Rampart是兩款工具中定位更偏向實際操作層面的一個。該框架旨在幫助開發者將紅隊發現的問題轉化為可重複執行的測試用例，並將其嵌入開發和部署流水線中持續運行。
Rampart基於微軟面向生成式AI系統紅隊測試的開源自動化框架PyRIT構建，支持以結構化、自動化的方式對AI智能體執行對抗性與良性測試場景。其核心理念是打破一次性安全審查的局限，將持續檢測直接集成到CI/CD工作流中。Kumar解釋說："PyRIT針對的是系統構建完成後由安全研究人員進行的黑盒發現，而Rampart則是為工程師在系統構建過程中所設計的。"
Rampart能夠在應用上線之前發現跨提示注入、不安全數據處理、不安全工具執行等智能體特有的攻擊路徑。此外，它還支持將AI紅隊發現轉化為可重複的自動化測試，幫助工程師隨著智能體的疊代持續檢測回歸問題。
與Rampart聚焦於系統構建階段的測試不同，Clarity的介入時間更早，位於代碼編寫開始之前。
微軟將Clarity定位為一款用於審查和驗證AI智能體設計決策背後假設前提的工具，涵蓋對智能體預期行為、權限範圍、與工具及外部系統的交互方式，以及信任邊界的評估。
Kumar介紹："Clarity可作為桌面應用、網頁界面運行，也可直接嵌入編碼智能體中。它通過結構化對話引導工程師完成問題梳理、方案探索、故障分析和決策追蹤等環節。"他補充說，這些對話內容將以Markdown文件形式寫入代碼倉庫中的".clarity-protocol/"目錄，可像源代碼一樣提交、在Pull Request中審查和進行差異比較。
Rampart與Clarity是微軟過去數月來持續構建開源"智能體治理"與安全技術棧這一整體戰略的組成部分，而非獨立發布的單一產品。上月，微軟已推出智能體治理工具包，重點面向常規控制、策略執行以及針對AI智能體的OWASP對齊防護能力。
Q&A
Q1：Rampart是什麼？它與PyRIT有什麼區別？
A：Rampart是微軟開源的AI智能體安全測試框架，基於PyRIT構建。兩者的核心區別在於：PyRIT面向安全研究人員，用於系統構建完成後的黑盒發現；而Rampart面向工程師，在系統構建過程中使用，支持將紅隊發現轉化為可重複的自動化測試，並集成到CI/CD流水線中，實現持續安全檢測。
Q2：Clarity工具的主要作用是什麼？
A：Clarity是一款在代碼編寫之前介入的AI安全工具，用於審查和驗證AI智能體設計決策背後的假設前提，包括智能體的預期行為、權限範圍、與外部系統的交互方式及信任邊界。它可以桌面應用、網頁界面或嵌入編碼智能體等多種形式運行，通過結構化對話引導工程師進行問題梳理與決策追蹤，並將結果以Markdown文件形式保存在代碼倉庫中。
Q3：微軟開源智能體安全工具是出於什麼考慮？
A：隨著AI智能體從聊天助手演變為擁有實際操作權限的系統，傳統應用安全流程已無法有效應對提示注入、權限升級、不安全工具調用等新型風險。微軟希望通過開源Rampart和Clarity，推動AI安全從定期審查轉變為持續的工程學科，並將實用工具直接交給開發者，使安全檢測貫穿整個智能體開發生命周期。
