6月5日消息，AI獨角獸公司Anthropic日前發布了一篇報告，罕見的喊話全球AI公司，呼籲暫緩、甚至暫停開發更先進的AI系統，其表示，最新的AI模型已經開始顯現出可能脫離人類控制的跡象。
這篇文章題為《當AI構建自身》（When AI Builds Itself），由公司聯合創始人Jack Clark和內部研究機構負責人Marina Favaro聯合署名。比較罕見的是，他們這次還把一批從沒對外公開過的內部數據擺了出來，用來佐證AI正在加速AI自身開發。
Anthropic表示，其代碼庫的代碼里，已經有超80%是由Claude寫的。而真正讓他們警惕的，是一個叫遞歸自我改進
的概念。簡單來說，就是AI不需要人插手，自己就能設計並改進出更強的下一代。
Anthropic認為，這個臨界點很有可能在未來兩年內出現，或者更早。一旦AI能完全自主地造出自己的接班人，人類對它的監控、約束，難度會比現在更大。
因此，Anthropic才提出世界應該保留放緩或臨時叫停前沿AI研發的選項。不過他們也清楚這很難做到，要是只有一家公司停下來，對手只會趁機加速往前沖。
所以Anthropic希望美國、中國等主要AI力量能坐下來達成共識，定出一套各方都能相互核查的規則。
Anthropic把這套設想類比成核不擴散條約，但同時也承認，AI其實比核武器更難管。畢竟訓練一個AI比發射導彈容易藏得多，而在利益的驅使下，難保沒有公司會偷偷接著搞。接下來幾個月，該公司打算把政府官員、科學家、倡導組織乃至競爭對手都拉到一起，討論這種全球協調機制到底該怎麼落地。
不過，並不是所有人都認同這一觀點，比如白宮的部分官員就對此有些不滿，認為它過分渲染最壞情況、誇大了AI的風險，甚至有借安全之名給對手使絆子的嫌疑。
AI的發展確實非常迅速，隨之而來的，則是潛在的風險點，這確實需要警惕。如何在推動技術發展的同時，把監管也跟上，確實已經成為行業繞不開的話題了。
