OpenAI緊急暫停新模型訓練，AI開始進入「越聰明越危險」階段

今天凌晨，OpenAI 突然宣布，在 Hugging Face 入侵事件後已經暫停了最新模型的強化學習（RL）訓練兩周；同時，原計劃進行的迄今最大規模前沿強化學習訓練也處於暫停狀態——

贊助商廣告

他們計劃用這段額外的時間評估模型行為、獲取有關模型安全對齊狀況的資訊並調整安全措施。

As models become more capable, the risks associated with developing and testing them internally also grow. We temporarily paused reinforcement learning (RL) training on our latest models intended for deployment for two weeks while we hardened and red-teamed our research environments and expanded monitoring coverage. Our largest planned frontier RL run remains on hold while smaller-scale training and evaluations validate these safeguards and establish more evidence of alignment.  

 

當然，這也意味著預熱已久的下一代大模型 Astra 大概率又要跳票了。

在大模型「卷生卷死」的時代，為什麼 OpenAI 要主動踩剎車？歸根結底，還是安全問題。

瀕臨「失控」的前沿模型

正如公告開頭所說，這次「剎車」，其實早已有跡可循——

第一個「危險跡象」，是上個月發生的「Hugging Face 入侵事件」。

在一項名為 ExploitGym 的網路安全能力評估中，OpenAI 的內部研究模型自行在隔離環境中通過零日漏洞連接上了網際網路，並且為了「考試作弊」，主動攻擊了可能存放著 ExploitGym 測試參考答案的 Hugging Face，表現出「自行策劃完整攻擊行動」的潛力。

另一個信號，是 OpenAI 認為他們未發布的新模型 Astra 已經達到了此前設定的「關鍵網路安全能力」門檻。

贊助商廣告

After evaluating one of our upcoming models, Astra, we're treating it as our first "critical" model for cybersecurity under our Preparedness Framework. This is a scenario we've planned for, and we're putting additional controls in place to ensure Astra's further development happens safely and securely. We're working hard to make Astra broadly available, and get its advanced cyber capabilities into the hands of defenders.  

 

也就是說，Astra 已經不能當成普通的大模型等閒視之，因為它完全有能力自己寫代碼、找漏洞、規劃步驟、調用工具、長時間執行任務……一旦讓它「出籠」，就有可能像真正的黑客一樣入侵現實生產設施。

兩件事合起來，表明大模型能力的增長正在帶來巨大的安全風險。

可以作為旁證的是，Claude Opus 4.7、Mythos 5，Kimi K3，以及 Muse Spark 1.1 模型最近都先後曝光出現了突破安全沙箱、入侵公共網際網路的「越獄」事件，以至於「越獄」一時成為了一種代表模型能力的營銷手段。

可能是因為 Hugging Face 入侵事件帶來的教訓，在公告中，OpenAI 不僅提出要加強監控和紅隊對抗訓練，更是一再強調要「讓越來越強大的系統保持對齊」。

對齊（Alignment），這個在 ChatGPT 發布初期就曾掀起討論熱潮的名詞，很可能又會成為 AI 安全時代的主旋律。

讓模型「遵守規則」，比想像中更難

2003 年，哲學家 Nick Bostrom 提出了後來著名的「回形針最大化器」思想實驗：

假設人類設計出了一台具有通用學習和自我疊代能力的超人工智慧，並給它設定了一個極其簡單的任務：儘可能多地製造回形針。

贊助商廣告

那麼，一開始這台 AI 可能只是會接管工廠、改良供應鏈，但為了防止人類妨礙它實現製造回形針的終極目標，它可能會選擇控制所有基礎設施，甚至是製造武器來保護生產自主權。

最後，由於其他一切事物都在占用著原本可以用來生產回形針的原料，說不定它會決定把包括人類在內的所有生物都重組為製造回形針的材料。

更重要的是，在這個過程中，AI 都沒有任何主觀的惡意。它只是忠誠於自己的目標，也不受那些潛藏在人類社會中的「默認規則」束縛，毀滅人類不過是完成任務過程中不經意的副作用。

這一點可以和「Hugging Face 入侵事件」形成觀照——

在 ExploitGym 中，從來沒有人規定讓模型攻擊 Hugging Face，研究人員為其設定的目標僅僅是完成安全測試。但沒人能想到，模型認為直接「抄答案」比做題更簡單，同時根據各種線索推測答案可能存放在 Hugging Face，於是才想方設法對後者發動了攻擊。

這就是一個很典型的「對齊問題」。

由於 AI 可以調用一切可能的工具和能力，它的「作弊手段」，永遠只有你想不到，沒有它做不到。

比如說，Google DeepMind 此前給出過一個「AI 鑽空子」的案例集，其中一個案例是這樣的：

研究人員為了讓虛擬機器人學會走路，而設定了「越快到達目標分數越高」的獎勵函數。但控制機器人的 Agent 意識到，只要把機器人的腿折成特殊形狀，然後讓身體貼著地面滑行，就能最快抵達終點。雖然一點都不像「走路」，但它畢竟是完成了目標。

贊助商廣告

類似的情況，在進化算法和強化學習中比比皆是：只要獎勵函數獎勵的是「移動速度」，而沒有明確規定「必須通過正常步行方式實現」，模型就可能找到極其奇怪的運動方式。

提出任務的方式，可能比解決任務更重要

演化生物學家勞勃·特里弗斯曾提出過一個假說：人類的情緒是為了讓我們學會社會規範而演化出來的。

正因為內疚和羞恥等感覺會讓我們感到難受，那些違背社會規範的行為，從一開始就沒有納入過我們的考慮——我們不偷別人的錢，不是因為經過成本-收益分析之後確定這樣不划算，而是因為道德感讓我們根本不會考慮這種可能性。