當我們回顧過去幾年 AI 突飛猛進的發展速度時，我們可以提出兩個問題（或兩個都問）：1. 這是如何發生的？2. 它將帶來什麼影響？
最近，我通過 James Pethokoukis 在 Substack 上發表的文章（"Faster, Please!"）了解到 Leopold Aschenbrenner 關於 AI 和"情境感知"的重要論述。通過閱讀 Aschenbrenner 這篇詳盡的文章，我們可以找到上述兩個問題的答案，同時他還對為什麼我們在不久的將來會遇到奇點事件做出了一些很有趣的解釋。
能力的巨大躍升
首先，Aschenbrenner 建議我們簡單計算"OOMs"（數量級）。他將一個數量級定義為 10 倍的現象。我最初接觸"10X"是通過"10X 程式設計師"的概念 —— 指那些生產力是同事 10 倍的人。
現在 AI 已經可以編寫代碼，這個概念可能已經過時了，因為 Aschenbrenner 討論的是在通向人工通用智能或超級智能的過程中出現的大量數量級增長。
像人類一樣成長
Aschenbrenner 反覆強調的一點是將 AI 與人類成長階段進行類比 —— 學齡前兒童、幼兒園學生、高中生和成年人。
他談到從學齡前到高中生的跨越，表示這種跨越將會經常發生。
他寫道："到 2027 年，AI 模型能夠勝任 AI 研究人員/工程師的工作，這是非常令人信服的。這並不需要相信科幻小說，只需要相信圖表上的直線。"
他再次強調，只要數一數這些數量級的增長，就能看到我們的發展方向...
衡量成功
Aschenbrenner 文章中另一個重要觀點是我們正在用盡基準測試。這讓我深有共鳴，因為幾周前我寫過關於基礎數據集的文章，各種模型的得分都高於大多數人。
Aschenbrenner 也持相似觀點，他談到了常用於識別智能水平的 MATH 數據集。值得注意的是，他沒有提到 ARC，直到最近模型在模式識別問題上表現都不太好。但它們現在也在突破這一領域，可以問問 Francois Chollet。
在更廣泛的資源識別方面，Aschenbrenner 列舉了三個主要進步要素 —— 計算能力、算法效率和他稱之為"解除進一步發展限制"的因素。
他聲稱，我們預期的進步速度會讓摩爾定律顯得"緩慢"，他再次敦促我們只需計算數量級的增長。
解除限制的過程
在文章後面，Aschenbrenner 討論了思維鏈和腳手架等技術如何使 AI 代理能夠更智能地思考，從而釋放其真正潛力。我發現他的這段話非常重要：
"想像一下，當被要求解決一個困難的數學問題時，你必須立即說出腦海中的第一個想法，"他寫道。"顯然，除了最簡單的問題外，你會覺得很困難。但直到最近，這就是我們讓大語言模型解決數學問題的方式。相反，我們大多數人會在草稿紙上一步步解決問題，這樣就能解決更困難的問題。'思維鏈'提示為大語言模型解鎖了這種能力。儘管它們具有出色的原始能力，但由於明顯的限制，它們在數學方面的表現遠不如可能達到的水平，只需要一個小的算法調整就能釋放出更強大的能力。"
專家們將其稱為"推理過程中的測試時計算"。這意味著 AI 可以在實時回答問題之前先進行推理。正如許多人指出的那樣，這是一個真正的遊戲規則改變者！
入職問題
我認為我們應該關注文章的這一部分：
"GPT-4 具備完成許多人工作相當一部分的原始智能，"Aschenbrenner 寫道，"但這就像一個聰明的新員工剛到公司 5 分鐘：它沒有任何相關背景，沒有閱讀過公司文檔或 Slack 歷史記錄，沒有與團隊成員交談過，也沒有花時間理解公司內部的代碼庫。一個聰明的新員工在到達 5 分鐘後並不那麼有用 —— 但一個月後就很有用了！比如通過很長的上下文，似乎應該可以像培訓新人類同事一樣'培訓'模型。僅這一點就將是一個巨大的突破。"
他認為，AI 代理需要持久記憶，需要完整的上下文來思考，需要細節。
結論似乎是這樣的 —— 隨著系統被賦予記憶和更廣泛的上下文，變得更"人性化"，以更人性化的方式進行認知，它們將繼續讓我們驚嘆不已。
作者反覆提到的一個最有說服力的論點是，就在幾年前，這些模型還難以識別狗和貓的基本圖像。它們在本質上是非常原始的，而現在則發生了翻天覆地的變化。如果這種情況持續發生，我們可以期待 Aschenbrenner 的其他許多預測成為現實。
最後，我引用他在文章開頭引用的 Ilya Sutskever 的話，他在 OpenAI 的爭議之前曾與 Sam Altman 一起在那裡工作：
"看，這些模型，它們只是想要學習。你必須理解這一點。這些模型，它們只是想要學習..."
我想解釋所有這些的一種方式是，像 Aschenbrenner 這樣的人做出的預測並不僅僅是瘋狂的恐嚇或悲觀論調，也不是誇大其詞的宣傳 —— 考慮到這些模型在進化過程中能做什麼，這些都是合理的預期。Aschenbrenner 談到一群接近這個行業的卡桑德拉們，他們必須向其他人解釋，大語言模型不僅僅是在"預測下一個 token"，而是在做那些我們自己很快就無法完成的心智工作，不管我們如何努力。所以用兩個詞來說：做好準備。
當我展望 2025 年我們將要面對的情況時，我可能會重新回顧這篇文章，因為它似乎與我們的時代息息相關。
