如今，幾乎所有前沿的 AI 產品和模型都採用 Transformer 架構。像 GPT-4、LLaMA、Gemini 和 Claude 等大語言模型都基於 Transformer，其他 AI 應用如文本轉語音、自動語音識別、圖像生成和文本轉影片模型的底層技術也都是 Transformer。
隨著 AI 熱潮持續升溫，是時候深入了解 Transformer 了。本文將解釋它的工作原理、為什麼對可擴展解決方案的發展如此重要，以及為什麼它是大語言模型的支柱。
Transformer 不只是表面那麼簡單
簡而言之，Transformer 是一種專門用於建模數據序列的神經網路架構，非常適合語言翻譯、句子補全、自動語音識別等任務。Transformer 之所以成為序列建模任務的主導架構，是因為其底層的注意力機制可以輕鬆實現並行化，從而在訓練和推理時實現大規模擴展。
Transformer 最初由 Google 研究人員在 2017 年的論文《Attention Is All You Need》中提出，作為一種專門用於語言翻譯的編碼器-解碼器架構。次年，Google 發布了雙向編碼器表示 (BERT)，這可以被視為最早的大語言模型之一——儘管按今天的標準來看規模較小。
自那時起——特別是在 OpenAI 的 GPT 模型問世後——訓練更大模型的趨勢加速發展，使用更多數據、更多參數和更長的上下文窗口。
為推動這一發展，出現了許多創新：更先進的 GPU 硬體和更好的多 GPU 訓練軟體；量化和專家混合 (MoE) 等降低內存消耗的技術；Shampoo 和 AdamW 等新型訓練優化器；FlashAttention 和 KV Caching 等高效計算注意力的技術。這種趨勢很可能在可預見的未來繼續下去。
Transformer 中自注意力機制的重要性
根據應用場景的不同，Transformer 模型採用編碼器-解碼器架構。編碼器組件學習數據的向量表示，可用於分類和情感分析等下游任務。解碼器組件接收文本或圖像的向量或潛在表示，用於生成新文本，適用於句子補全和摘要等任務。因此，許多熟知的最先進模型，如 GPT 系列，都只使用解碼器。
編碼器-解碼器模型結合了這兩個組件，使其適用於翻譯和其他序列到序列的任務。對於編碼器和解碼器架構而言，核心組件是注意力層，因為它允許模型保留文本中較早出現的詞語的上下文。
注意力機制有兩種：自注意力和交叉注意力。自注意力用於捕捉同一序列中詞語之間的關係，而交叉注意力用於捕捉兩個不同序列之間詞語的關係。交叉注意力在模型中連接編碼器和解碼器組件，在翻譯過程中，例如，它允許英語單詞"strawberry"與法語單詞"fraise"建立聯繫。從數學角度看，自注意力和交叉注意力都是矩陣乘法的不同形式，可以通過 GPU 高效完成。
由於注意力層的存在，Transformer 可以更好地捕捉相距較遠的詞語之間的關係，而之前的模型如循環神經網路 (RNN) 和長短期記憶 (LSTM) 模型則會丟失文本前面的詞語上下文。
模型的未來發展
目前，Transformer 是許多需要大語言模型的用例的主導架構，並且受益於最多的研究和開發。雖然這種情況短期內似乎不會改變，但最近一類引起關注的不同模型是狀態空間模型 (SSMs)，如 Mamba。這種高效算法可以處理非常長的數據序列，而 Transformer 則受限於上下文窗口。
對我來說，Transformer 模型最令人興奮的應用是多模態模型。例如，OpenAI 的 GPT-4 能夠處理文本、音頻和圖像，其他提供商也開始跟進。多模態應用非常多樣化，涵蓋影片字幕、聲音克隆、圖像分割等領域。它們還為殘障人士提供了使 AI 更易接觸的機會。例如，視障人士可以通過多模態應用的語音和音頻組件進行交互。
這是一個充滿機遇的領域，有望發現新的用例。但請記住，至少在可預見的未來，這些應用主要還是基於 Transformer 架構。
