七年零七個月前，Google 通過 Transformer 架構改變了世界，這一架構現在已成為 OpenAI 的 ChatGPT 等生成式 AI 應用的核心。
如今，Google 推出了名為 Titans 的新架構，作為 Transformer 的直接進化版本，讓我們向著具有人類思維方式的 AI 邁進了一步。
Transformer 架構沒有長期記憶能力，這限制了它在較長時間內保留和使用資訊的能力 - 而這是人類思維的重要組成部分。Titans 引入了神經長期記憶，以及短期記憶和基於驚喜的學習系統 - 這些都是我們大腦用來記住意外或關鍵事件的工具。
簡單來說，Transformer 有一個類似"聚光燈"的機制 (稱為注意力機制)，在任何給定時刻只關注句子或數據集中最相關的詞或數據點。Titans 仍然使用這種聚光燈機制，但增加了一個巨大的"圖書館" (長期記憶模塊) 來存儲重要的歷史資訊。
這就像一個學生可以參考學期早期的筆記，而不是試圖一次性記住所有內容。通過結合這兩種方法 - 即時注意力焦點和存儲知識的深度回憶 - Titans 可以處理海量數據而不會丟失關鍵細節。
初步基準測試表明，得益於其用於優先處理關鍵數據點的智能"驚喜度量"，Titans 在語言建模、時間序列預測甚至 DNA 建模等各種任務中的表現都優於現有模型。簡而言之，Titans 可能標誌著 AI 範式轉變的開始，讓機器智能向人類認知更近一步。
重大意義
Google 的新設計不僅僅是提升性能指標。通過密切模仿人類認知如何優先處理令人驚訝的事件，以及如何在短期和長期尺度上管理資訊，Titans 為創建更直觀、更靈活的 AI 系統鋪平了道路。
這種架構保留廣泛上下文的能力可能會徹底改變研究領域，AI 助手可以追蹤多年的科學文獻。它們可能會更善於發現大型數據集中的異常 - 比如醫療掃描或金融交易 - 因為它們能"記住"什麼是正常的，並突出顯示意外情況。
從更廣泛的層面來看，通過推動 AI 向更人性化的處理方式發展，Titans 可能意味著 AI 能夠比人類思考得更深入 - 這挑戰了我們對人類獨特性及其在 AI 增強世界中角色的理解。
驅動性能的技術創新
Titans 設計的核心是努力更緊密地模擬人腦的功能。雖然之前的 Transformer 等模型引入了注意力概念 - 允許 AI 關注特定的相關資訊 - 但 Titans 更進一步。新架構融入了人類認知過程的類似物，包括短期記憶、長期記憶，甚至"遺忘"不太相關資訊的能力。也許最有趣的是，Titans 引入了一個頗具人性化的概念：優先處理令人驚訝或意外資訊的能力。這模仿了人類更容易記住違反預期事件的傾向，這一特徵可能帶來更細緻和更注重上下文的 AI 系統。
Titans 的關鍵技術創新是引入了神經長期記憶模塊。該組件學習記憶歷史上下文，並與現代 AI 模型中標準的注意力機制協同工作。結果是一個在處理數據或生成響應時，可以有效利用即時上下文 (類似短期記憶) 和更廣泛歷史資訊 (長期記憶) 的系統。
這種雙重記憶方法使 Titans 克服了當前 Transformer 模型的主要限制之一：固定長度的"上下文窗口"，即模型一次可以處理的最大文本或資訊量。雖然最先進的模型可以處理多達 200 萬個"token" (如單詞、數字、標點符號等意義單位)的令人印象深刻的上下文窗口，但 Titans 可以有效地超越這一限制，即使在更大的輸入下也能保持高精度。這一突破可能對需要分析超大文檔或數據集的任務產生重大影響。
記憶管理的驚喜度量
Titans 最引人入勝的方面之一是其記憶管理方法。系統使用"驚喜"度量來決定哪些資訊應該存儲在長期記憶中。違反模型預期的事件或數據點在記憶存儲中獲得優先處理。這不僅反映了人類的認知過程，還為管理 AI 系統有限記憶資源的挑戰提供了新穎的解決方案。這種基於驚喜的記憶管理配合考慮記憶大小比例和驚喜數據量的衰減機制。結果是一個更動態和適應性的記憶系統，可以優先處理重要資訊，同時逐漸遺忘不太相關的細節 - 很像人類大腦。
超越現有模型
Titans 的早期測試在多個任務中顯示出令人期待的結果。在語言建模方面，特別是在需要從大量文本中提取特定資訊的任務 (通常稱為"大海撈針"任務) 中，Titans 的表現優於現有模型。即使在輸入序列長度增加的情況下，其性能仍保持穩定，而其他模型往往會出現準確性急劇下降。除了自然語言處理外，Titans 在時間序列預測甚至 DNA 序列建模方面也表現出令人印象深刻的能力。這種多功能性表明該架構可能在 AI 和機器學習的各個領域都有廣泛應用。
挑戰與未來方向
雖然 Titans 的初步結果令人鼓舞，但重要的是要注意該技術仍處於早期階段。與任何新的 AI 架構一樣，在實際應用中擴展和實施 Titans 可能會面臨挑戰。隨著技術的成熟，需要解決計算需求、訓練效率和潛在偏差等問題。此外，AI 以類似人類的方式保留和優先處理資訊的能力可能會引發關於隱私、數據處理和 AI 系統可能產生意外行為的新問題。
結論
Google 的 Titans 架構為更複雜、更注重上下文的 AI 應用開闢了新的可能性。隨著該領域研究的繼續，我們可能正在見證人工智慧新範式的早期階段 - 這使我們更接近於創造真正智能的系統，能夠以更符合人類認知的方式理解和與世界互動。隨著 Titans 和類似架構的完善，以及在 AI 等領域的廣泛應用，未來幾年無疑會帶來令人興奮的發展。
