模型正以快速且猛烈的速度不斷湧現 - 似乎每次回頭，我們都會看到新形式的大語言模型操作和 AI 引擎需要理解。
但這些變化實際上在行業中產生了什麼影響？
我看到了一篇來自 Machine Learning Street Talk 的 Tim Scarfe 博士在 X (原 Twitter) 上的帖子，這位顯然具有相關技術經驗的專家討論了 o1-pro 模型的突破性及其原因。
本質上，Scarfe 表示，新模型改變了工程師提示大語言模型執行複雜任務的疊代過程。
"o1-pro 最顯著的變化是它在'單次處理'中能夠處理的複雜性，" 他寫道。"此前，大語言模型在單次前向傳遞中只能做'有限的工作'，由於自注意力線性化技巧的限制，我們不得不下意識地接受一些奇怪的限制，即你只能要求大語言模型在上下文中處理和完成一個模糊有限的子空間內的工作。"
他還指出，傳統過程實際上並非"單次處理"，而是一個並行化的搜索樹過程在運行。
注意力的郵票比喻
此外，Scarfe 使用郵票的比喻來講述上一代注意力機制的受限能力。
"想像你有一張世界地圖，" 他寫道，"在大語言模型的每次前向傳遞中，你只能執行'一枚郵票大小'的計算，而作為提示者，你需要決定將這枚郵票放在地圖的什麼位置。這基本上就是 o 系列之前大語言模型的工作方式。因此，我們工程師設計了放置更多郵票的方法，或者將地圖細分並將結果匯總成連貫的內容。"
他解釋了工程團隊如何試圖通過多智能體協作等技術來克服這些限制。
"o1-pro 現在為我們自動化了這個過程，減少了我們對提示技巧和工程的需求，" 他補充道。
他還將 Transformer 稱為"有限狀態自動機"，再次說明它們在單次前向傳遞中能夠執行的計算類型極其有限。
撇開自動機的語義不談，這是有道理的。(嚴格來說，ChatGPT 是這樣說的："(Transformer) 是一個連續的參數化計算框架，因此超出了經典的離散自動機模型。")
這裡有一定的主觀性；我只是覺得這很有趣。總之，那些發現這些模型能力（並使用它們）的人正在幫助 AI 系統以不同方式組織資源，使其變得更強大、更靈活。
有什麼不同？
Scarfe 還這樣描述新模型給用戶帶來的變化：- "更多的細節表述、更多的多樣性和更少的平庸"。
而且，最終帶來更高的準確性。
讓我們更詳細地看看這些標準。
細節表述與模型如何與我們對話和回答問題有關。你可以這樣理解：這個大語言模型是莎士比亞還是幼兒園學生？至於多樣性，當模型能夠在推理時進行更好的搜索，它就能提供更廣泛的結果。而平庸 - 這與恐怖谷效應有些關聯。我曾寫過早期大語言模型結果如何"簡單"、"泛泛而談"，用一個詞來說，就是"平庸"。換句話說，結果的細微差別和複雜性能否通過更深層次的圖靈測試。
關於準確性：
"(新模型) 現在能在地圖上分布 1000 個郵票，準確捕捉與我的提示相匹配的資訊，" Scarfe 寫道。"這種差異就像黑夜和白天一樣明顯。"
Francois Chollet 的深度思考
在帖子最後，Scarfe 提到了 Francois Chollet，這位從 Google 離職去研究 Arc 獎項的 AI 研究領域知名人士。我在之前的文章中曾介紹過他的工作，其中 AI 引擎試圖解決人類能夠輕鬆完成的模式識別問題。
查看 Chollet 自己的 X 主頁，你可以看到他對最近模型在解決 Arc 問題上的進展持樂觀態度。
"今天 OpenAI 發布了其下一代推理模型 o3，" Chollet 在 12 月 20 日寫道。"我們與 OpenAI 合作測試了它在 ARC-AGI 上的表現，我們認為這代表著 AI 適應新任務能力的重大突破。在低計算模式下（每個任務計算成本 20 美元）它在半私有評估中得分 75.7%，在高計算模式下（每個任務數千美元）得分 87.5%。雖然成本很高，但這不僅僅是蠻力計算 - 這些能力開創了新領域，值得認真的科學關注。"
以下是 Chollet 最近對 AI 行業現狀的一些其他有趣觀點。
"計算曾經感覺很快 - 所有東西都在本地運行，軟體主要用 C/C 編寫，並受制於需要在各種舊硬體上運行的限制。現在我的任何一個 Chrome 標籤頁使用的內存都是 NeXT 工作站總內存的 100 倍。" - 2024 年 9 月 3 日
"AI 的當前氣氛與 2021 年的 web3 有太多相似之處，讓我感到不安。基於零數據的敘事被認為是不言而喻的。每個人都確信'改變文明'的影響...將在未來 2-3 年內到來。" - 2023 年 1 月 8 日
這句話與市場特別相關：
"軟體是一個奇怪的領域，你可以幾乎不花錢創造十億美元的價值，也可以花十億美元卻幾乎創造不出任何價值，" 2022 年 2 月 1 日
結論
以上是我認為與當今工程界相關的一些內容，因為我們正在發現新的模型能力。我說發現而不是構建，是因為這些系統本身就具有讓人類驚嘆的能力。請繼續關注未來新模型將帶來的更多可能。
