數月以來，AI巨頭們設計了專門的審查程序和嚴格的安全護欄，以限制惡意黑客使用其模型。然而，這些限制措施如今正在妨礙合法網路防禦者以及攻擊性網路安全研究人員的正常工作。
今年6月，美國政府對Anthropic廣受關注的AI模型Mythos和Fable實施了出口管制限制。此舉的部分原因，在於一份報告聲稱可以繞過這些模型旨在防止用戶構建和執行惡意網路攻擊的安全護欄。
無論該事件是否真的源於對越獄風險的擔憂，事實是Anthropic一再將Mythos標榜為某種只能交給經過嚴格審查用戶的"末日網路武器"，即便如此，使用時仍須受到嚴格護欄的約束。（Fable 5和Mythos 5的出口管制此後已被解除。Fable 5於7月1日恢復公開訪問；Mythos 5則作為政府審查流程的一部分，僅向經過審查的美國機構重新開放。）
這種訪問限制並非Mythos獨有。Anthropic的其他模型以及OpenAI均為網路安全研究人員提供了申請參與的審查項目——一旦獲批，研究人員便可在網路安全限制較少的條件下使用相關模型，即OpenAI的"網路信任訪問計劃"和Anthropic的"網路安全驗證計劃"。
這些安全護欄遭到了廣泛批評，尤其來自那些以發現系統未知漏洞、並在犯罪分子利用之前研究利用方式為職業的研究人員。
知名安全研究員馬克·道德近期在一檔網路安全播客中表示："讓這些隨機的大公司來對安全領域的是非對錯做出任意裁定，我並不覺得這讓人放心。"
道德數十年來一直致力於發現並向西方政府出售"零日漏洞"——即此前未知的軟體缺陷及其利用程序——而非將其上報給軟體廠商以便修復。政府之所以願意為這些漏洞支付高價，正是因為漏洞能夠保持開放狀態，這對情報行動至關重要。
道德承認，自己的工作經歷可能影響其立場，但他並非孤例。多位從事攻擊性網路安全工作的人士——他們的職責是主動探測系統弱點——向TechCrunch講述了他們如何使用AI工具以及如何應對安全護欄的種種限制。
安全諮詢巨頭NCC集團首席科學家克里斯·安利表示，要求AI模型嘗試利用某個漏洞，是確認該漏洞是否真實存在並值得修復的關鍵步驟。但如果安全護欄導致模型直接拒絕回答問題，護欄反而損害了防禦者的利益。
"這正是攻擊與防禦、以及安全護欄之間矛盾的核心所在，因為'修復這段代碼'這一提示詞，既是防禦的必要機制，也是發現代碼庫中關鍵漏洞的路線圖，"安利說，"因此，同一個工具同時既是攻擊工具，也是防禦工具，兩者根本無法截然分開。"
他進一步打了個比方："這就像一把錘子。沒有錘子你蓋不了房子。它無疑是一種工具，但同時也不可避免地是一種武器。"
當他和同事遭遇此類障礙時，有時會轉而使用完全沒有任何護欄限制的開源AI模型。
CrowdFense首席技術官保羅·斯塔尼奧對道德的觀點表示贊同。CrowdFense是一家知名公司，專門面向政府機構開發、收購和出售未知漏洞。斯塔尼奧認為，AI公司通過審查項目和安全護欄，"本質上是把客戶當成需要監護的孩子來對待"。
斯塔尼奧表示，他和同事確實會使用前沿模型，但僅限於逆向工程。他們刻意避免使用AI協助尋找漏洞或構建利用程序，因為將這類工作輸入基於雲端的模型，存在泄露敏感漏洞數據或被納入未來訓練集的風險。在這一環節，他們選擇在本地運行開源模型，以避免在模型外部共享數據。
從事零日漏洞發現和利用程序開發的安全研究員朱塞佩·卡利則表示，安全護欄並未阻礙他的工作——因為他根本不將AI用於攻擊性工作，而是將其用於初步逆向工程、理解所分析的代碼以及構建輔助工具。在這些場景中，AI工具可以加快流程，讓他能夠專注於漏洞發現本身。
"真正的漏洞發現和武器化工作，我仍然想親自完成，即使明天所有護欄都被取消，這一點也不會改變，"卡利說，"我對自己發現的漏洞有很強的占有欲，而且我太熱愛這個遊戲了，不想讓模型替我來玩。"
一位供職於智慧型手機零部件製造商的研究人員在匿名條件下表示，其所在公司並未加入Anthropic的網路安全驗證計劃，因此相關工具在漏洞發現方面幾乎沒有用武之地，原因正是護欄過於嚴格。
"一旦它察覺我們在做任何與安全相關的事情，就會直接停止運行，根本無法使用，"該人士說。
網路安全公司RemoteThreat首席執行官、攻擊性安全與AI專題活動Offensive AI Con創始人克里斯·湯普森表示，根據他使用前沿AI模型的經驗，安全護欄的表現往往前後不一，每天的反應都可能不同——即便是在Anthropic和OpenAI審查項目相對寬鬆的邊界範圍之內，也是如此。
"在我看來，實際影響是你要花大量時間與模型'討價還價'，而不是專注於核心安全工作，"湯普森說，"本該用於分析漏洞、推斷其可利用性，結果卻在試圖搞清楚為什麼會得到不一致的結果，或者模型為什麼對輸出進行了過度淨化。"
湯普森表示，由於上述原因，研究人員逐漸轉向或被迫依賴中國開源模型（如GLM）——這些可免費下載並在本地運行的模型，無需任何審查，也沒有使用限制。
"那些負責任的研究人員正在被從美國管轄的系統推向外國所有的系統，"他說，"我認為設置這些護欄弊大於利。"
湯普森呼籲AI前沿實驗室不要進一步收緊限制，而應開放相關項目、提供負責任的訪問渠道，並追究濫用工具者的責任。否則，他警告，防禦方將在這場AI競賽中落於下風。
"一場巨大的風暴正在逼近。一波以前所未有的速度和規模席捲而來的攻擊即將發生，"湯普森說，"然而，那些真正試圖有所作為的安全諮詢公司和合法研究人員，此刻卻正遭受重重束縛。"
Q&A
Q1：AI安全護欄對攻擊性網路安全研究人員有什麼影響？
A：AI安全護欄的限制導致合法的攻擊性網路安全研究人員在工作中頻繁碰壁。例如，當研究人員要求AI模型嘗試利用某個漏洞以驗證其真實性時，護欄可能直接拒絕響應。此外，護欄表現前後不一，研究人員不得不花費大量時間與模型"周旋"，而非專注於核心安全研究。部分研究人員因此轉向沒有任何限制的開源模型。
Q2：OpenAI和Anthropic針對網路安全研究人員提供了哪些特殊訪問計劃？
A：OpenAI提供"網路信任訪問計劃"（Trusted Access for Cyber），Anthropic提供"網路安全驗證計劃"（Cyber Verification Program）。研究人員可申請加入這些計劃，經審查批准後，可在限制相對較少的條件下使用相關AI模型。但即便如此，護欄依然存在，且表現不穩定，部分研究人員反映實際效果有限。
Q3：為什麼攻擊性安全研究人員不直接使用雲端AI模型來尋找漏洞？
A：主要出於數據安全顧慮。將漏洞相關資訊輸入基於雲端的AI模型，存在敏感漏洞數據泄露或被納入未來訓練集的風險。因此，許多研究人員選擇在本地運行開源模型，以確保數據不會流出本地環境，從而保護尚未公開的零日漏洞資訊。
