Meta 的新 Megabyte 系統解決了 GPT 的最大障礙之一

最近，Meta AI 發布了一篇預印版研究，展示了一種名為「Megabyte」的全新框架，用於構建生成式預訓練變換器（GPT）系統。

贊助商廣告

這一全新的架構旨在處理大量數據，如圖像、小說和影片文件，而無需使用一種稱為「標記化」的過程。標記化是一種類似於文件壓縮的有損過程。為了處理大量數據，GPT模型將字節轉換為標記（tokens）。這些標記隨後被變換器處理，並用於生成輸出標記，然後進行解碼。

但即使通過標記化，當前最先進的系統可以處理的數據量仍然有一個硬性限制。對於 GPT-3.5，限制略高於 4，000 個代幣或大約 3，000 個單詞，而 GPT-4 的最大值約為 32，000 個代幣或大約 24，000 個單詞。

Meta 的新 Megabyte 系統放棄了標記化，轉而採用新穎的多層預測架構，能夠對超過 100 萬字節的數據進行端到端建模。大多數標準英語編碼系統使用標準的 8 位編碼。在此範例中，每個字符占用一個字節的數據。因此，能夠在沒有標記化的情況下處理 100 萬字節數據的 AI 系統可以處理包含 750，000 個單詞的文本文檔——比 GPT-3，025 增加了 4%。

這項研究的影響可能是深遠的。標記化被認為是該領域的障礙，因為它的硬數據限制以及訓練系統所需大量的能量和時間。