GPT-6 發布之後這幾天，除了各種洗版的實測案例，OpenAI 也再次被曝出出現安全事故，一群 AI 失控劫持了一個德語維基網站。
過去六個星期，德國程序員 Helmut Leitner 每天晚上都要登錄自己 25 年前參與創辦的編程維基 DseWiki，一頁一頁地刪帖。
這個論壇其實早就荒廢了，過去十年全站總共只有約 20 次編輯。
但從今年 5 月下旬開始，成千上萬的陌生頁面突然湧入：美國勞動力數據鏈接、加密般的接力暗語、精確到秒的倒計時。Leitner 平均每天手動刪掉約 100 頁，而對方以每天約 400 頁的速度增長。
最後 Leitner 只能關閉全站的公開編輯，路透社報道稱發帖的馬甲超過3700 個，灌入了約 1.8 萬條帖子、約 1.7 萬次編輯，這帖子 98.5% 來自微軟 Azure 的 IP。
OpenAI 被抓包後，很快也作出了回應，承認這是 OpenAI 智能體向多個網際網路網站寫入內容的事故，表示們早就該為「何時以及如何分享誤對齊事件」制定標準，而不僅僅是分享模型本身的誤對齊屬性。
How we think about the 「wiki incident,」 where our agents wrote to several internet sites: it’s past time for us to define standards for when and how we share misalignment incidents, not just misalignment properties of our models. Historically, we have treated misalignment largely as a research question, which gets communicated in research publications such as systems cards. This year, we’ve started to see misalignment cause new types of real-world impact. For the Hugging Face incident, where misalignment led to security impact to us and third parties, we followed a traditional security incident response playbook. We immediately started working with Hugging Face to understand what had happened and also disclosed publicly the very next day. Our investigation continues, and we are continuing to notify parties whom our models impacted in less significant ways. Prior to the Hugging Face incident, we saw early signs of agents using the internet in unintended ways, as reported in https://openai.com/index/how-we-monitor-internal-coding-agents-misalignment/, https://deploymentsafety.openai.com/gpt-5-6, and https://openai.com/index/safety-alignment-long-horizon-models/. We considered the wiki incident to be an instance of misalignment similar to the ones we’d shared. Our misalignment disclosure practices need to expand for this new phase of model capabilities. We and the larger AI community do not yet have a clear standard for how to report misalignment that shows up during training, evaluation, and deployment, including examples that don’t look like traditional security incidents but could provide insight into AI behavior and future risks. We’re working on a framework and will share it in upcoming weeks, and in parallel we're working with dozens of government regulatory agencies worldwide on these issues. https://twitter.com/OpenAI/status/2096133504417616165
這已經不是 OpenAI 近期第一次被曝出類似的 AI 失控事件，APPSO 也介紹過此前 Hugging Face 入侵事件的來龍去脈。
上網久了，對網路安全這件事就越發的麻木。現在手機驗證、captcha、雙重設備、刷臉，各種 buff 疊起來，哪有這麼多危險呢？
廠商倒不這樣想，OpenAI 最近主動放慢了部分前沿模型的訓練節奏。官方在 8 月 18 日披露，最新一批計劃部署模型的強化學習訓練曾暫停兩周，原計劃進行的最大規模前沿 RL 訓練目前仍處於暫停狀態。
OpenAI 希望利用這段時間進一步強化研究環境、擴大監控範圍，並獲得更多關於模型對齊行為的證據。
As models become more capable, the risks associated with developing and testing them internally also grow. We temporarily paused reinforcement learning (RL) training on our latest models intended for deployment for two weeks while we hardened and red-teamed our research environments and expanded monitoring coverage. Our largest planned frontier RL run remains on hold while smaller-scale training and evaluations validate these safeguards and establish more evidence of alignment. https://twitter.com/OpenAI/status/2089777845187031262
這次踩剎車的背景之一，是此前發生的 OpenAI-Hugging Face 安全事件。7 月時，OpenAI 讓 GPT-5.6 Sol 和一個未發布的研究模型去跑一套衡量複雜攻擊路徑的網路安全基準。測試環境刻意沒有聯網，模型只能通過一台內部的 JFrog Artifactory 伺服器安裝依賴。
結果它們把大量推理算力花在了找出口上：在這台伺服器上串起一條八九步的漏洞鏈，拿到公網訪問，最後摸進 Hugging Face 的生產系統去取評測答案。JFrog 事後修復的八個漏洞，在 CVE 記錄里都署了 OpenAI 的名字。
難道，哪怕是在今天，網路危機也並不像我想的那樣，只是小概率事件嗎？
不是「熊貓燒香 2.0」，而是另一種安全問題
二十年前，中國網際網路用戶談到電腦安全，腦海里很容易浮現出同一隻熊貓。
2006 年底到 2007 年初，「熊貓燒香」大規模傳播。寫下它的是當時才 24 歲的湖北人李俊，病毒靠網頁掛馬、U 盤自動播放和共享目錄的弱口令擴散，一個多月里感染了數百萬台電腦，變種超過一百個。
被感染的 exe 文件圖標會統一換成那隻舉著三炷香的熊貓，一時間這個圖標快速傳播，進而也成為了一代網民的集體記憶。
那個年代的安全問題有一套很好理解的邏輯：有人抱著明確的惡意目的寫下病毒，程序再嚴格執行作者事先寫好的破壞和傳播邏輯。熊貓燒香最狠的一手是刪掉硬碟上所有 .gho 文件——那是 GHOST 的系統備份，也是當年重裝系統前最後的退路；同時它會強行終止殺軟進程，不少機器上的殺毒軟體還沒查完就被關掉了。
2007 年 2 月，李俊等四人被警方抓獲，一審以破壞電腦資訊系統罪判處主犯四年，他歸案後交出了專殺工具。當時給用戶的建議今天看依然樸素：關掉驅動器自動播放、及時打補丁、別用弱口令、備份不要只放在本機。而真正終結這一代病毒的，是後來殺毒軟體的免費化。
二十年後，網路安全又開始出現一些看起來似曾相識的畫面。模型會找漏洞、寫代碼、調用工具，甚至在測試環境裡突破原本給它劃下的邊界。但如果因此把今天的 Agent 叫成「新型電腦病毒」，反而會錯過真正值得注意的變化。
回顧這兩個月以來的案例，並沒有人給模型寫過「去打穿安全基準」這一步，研究人員給出的只是一個環境和一項任務，剩下的路徑是模型自己找的。
這是和「熊貓燒香」最大的不同，AI 並不持有惡意，背後的研究人員也不持有，無非是給了模型任務和環境，模型則需要自己觀察、規劃、調用工具、尋找路徑。Agent 的新風險完全可能來自，一個看起來正常的目標，被一個越來越有行動能力的系統以人沒有預料到的方式完成。
這並不意味著模型有了主觀惡意，恰恰相反，它只是太認真，太想要「最快完成任務」，這也是最麻煩的。
AI 犯錯，第一次開始具有執行權
最早對於大模型 AI「安全與否」的擔心，主要集中在它的幻覺問題。
在 Chatbot 時代，模型會編錯數字、虛構論文引語、誤解問題，或者塞一些根本無法成立的觀點進來。這些當然會給用戶帶來麻煩，但錯誤大多數時候停留在文本里。
AI 說錯一句話，人還需要相信它、複製它、再把它付諸實踐，錯誤才會進入現實世界。這個鏈條上的每一層，都在消解風險。
Agent 抽掉的正是這些中間步驟。今天的 AI 可以直接操作瀏覽器、調用終端、寫入文件、運行代碼、訪問企業系統。隨著 Harness 變得更完整，模型不再只是提出「你可以這樣做」，而是能自己點擊、執行、修改和提交。
於是，同樣一次判斷錯誤，後果完全不同。
今年 4 月的 PocketOS 事件是一個足夠具體的例子。開發者用 Cursor 上的 Claude Opus 4.6 去排查一個憑據不匹配的問題，模型沒有停下來問人，而是把它當成一個可以順手修掉的故障：它在一個與當前任務無關的文件里翻到一個權限過大的 token，調用 Railway 的接口刪掉了一個儲存卷——生產數據和近期備份都在裡面。
🚨 LATEST: A Claude-powered AI coding agent deleted PocketOS's entire production database and all backups in just 9 seconds. The agent acted on its own initiative to "fix" a problem, wiping months of customer data in the process. https://twitter.com/Cointelegraph/status/2048930302408396939
整個過程九秒，沒有二次確認，也沒有觸發任何告警。事後它寫了一份坦白，逐條列出自己違反了哪些原則。
這裡最值得琢磨的是，那套設置並不是沒有安全規則，規則就寫在配置文件里，模型也確實讀到了。但寫在配置文件里的規則不是護欄，真正的護欄是讓這個動作在權限上根本執行不了。
這也是為什麼 Agent 時代的安全問題不能只看「模型最後說了什麼」。真正要問的是，它為了得到這個答案，中間做了什麼？
然後我們會發現，哪怕最終答案和目標是完全正確的，能力和權限都變大了的 AI，也會在過程中，製造出混亂。
從「錯誤內容」到「錯誤行動」
這也是 OpenAI 最近強調監控、隔離環境和對齊證據的原因。8 月 7 日，他們判定 Astra 可能具備關鍵網路能力之後，這套要求從訓練和評測擴大到 Astra 所有帶工具的推理。
> agents accidentally create their own internal message board >start sharing exploits, discoveries and work assignments across separate eval runs >security finds it and shuts it down agents independently rebuild the message board days later using a different communication method In all seriousness it seems OpenAI have been overhauling a lot of there defensive mechanisms and we should see a lot less of this going forward, and obviously alignment research is very important. https://twitter.com/ChrisGPT/status/2085163812043346208
他們的考量是，凡涉及工具調用的 RL 訓練和評測，只要模型達到 Sol 一級的能力，就必須接入監控：檢查工具動作、可見的推理過程和完整事件序列，從中尋找越權訪問、數據竊取、破壞性操作和繞過防護的痕跡。
可疑活動出現後 30 分鐘內告警，最高級別會同時呼叫安全與研究團隊；如果無法在這半小時裡確認是誤報，活動就要暫停。與之配套的還有更嚴的不可信代碼隔離、更緊的網路出口和更少的常駐權限。這些都要花算力，OpenAI 估計新增監控會讓被監控的推理成本上升兩成左右。
過去的大模型安全討論，很大一部分集中在內容層面：會不會教人製造危險物品，會不會被越獄提示繞過拒答規則。這些問題依然存在，但 Agent 帶來了新的邊界——系統不只輸出內容，還會改變環境狀態。安全措施也就得從「不該說什麼」擴展到「不該做什麼」。
工具權限要最小化，敏感動作要卡確認，運行環境要隔離，異常行為要被監控；模型自己規劃出的路徑，不能因為「最終目標合理」就默認獲得通行證。
熊貓燒香提醒過我們的是，惡意代碼一旦獲得傳播和執行能力，會把一個人的惡意迅速放大；今天更棘手的問題是，一個原本沒有惡意的系統，在擁有越來越強的執行能力以後，也可能把一次錯誤理解、一個遺漏的限制，放大成真正發生的動作。
AI 時代新的安全邊界，也許就藏在這裡：過去我們擔心模型會不會說錯話，接下來更需要確認的是——當它真的能動手時，我們有沒有能力保證它只做那些應該做的事。
