AI似乎正在朝著一個有趣的方向演進，從只能處理單一模態的專用模型，發展為能夠同時理解和生成文字、圖像、音頻、影片等多種媒體的全才模型，也被稱為"全模態"的AI系統。然而，訓練這樣的AI系統面臨著巨大挑戰。
2025年8月7日，字節Seed團隊推出VeOmni框架，通過模塊化設計和智能並行策略，將複雜的全模態AI訓練簡化為"搭積木"式的直觀操作。該框架支持30B參數模型達到每GPU 2800 token/s的吞吐量，能處理160K上下文長度，顯著降低了多模態AI研發門檻，為推動AI技術普及提供了強大工具。相關論文發表在arXiv上。
想像一下，如果訓練一個能夠同時理解文字、圖片、影片和聲音的AI模型就像搭積木一樣簡單，只需要把不同的積木塊組合在一起，不用擔心底層的複雜連接問題，這會帶來多大的便利？ByteDance的研究團隊就創造了這樣一個"積木盒子"：VeOmni框架，讓原本極其複雜的多模態AI訓練變得像組裝玩具一樣直觀。
傳統的訓練方法就像試圖用同一套教具去教授完全不同的課程，效果往往不盡人意。更麻煩的是，當你想要擴大訓練規模，比如從教一個學生變成教一百個、一千個學生時，現有的方法就會變得極其複雜和低效。這正是VeOmni要解決的核心問題。
化繁為簡：模塊化的訓練新思路
VeOmni的核心創新在於提出了一種"模塊化訓練配方"的概念。如果把傳統的AI訓練比作做菜，那麼以往的方法就像每次做菜都要從頭開始，不僅要準備食材，還要自己製作調料，甚至連鍋碗瓢盆都要自己打造。而VeOmni則像是建立了一個標準化的廚房系統，你只需要從調料架上拿取現成的調料，從工具櫃裡取出合適的廚具，就能快速烹飪出美味的料理。
這種模塊化設計的巧妙之處在於將複雜的訓練過程分解為三個相互獨立又能協調工作的部分：編碼器、基礎模型和解碼器。編碼器就像是翻譯官，負責將不同類型的原始數據（文字、圖像、音頻等）翻譯成AI能夠理解的通用語言。基礎模型則是大腦中樞，負責處理和分析這些翻譯後的資訊。解碼器則是表達者，將處理後的資訊重新轉換為人類能夠理解的各種形式。
更重要的是，VeOmni設計了一套標準化的接口協議，就像USB接口一樣，任何符合標準的設備都能輕鬆連接。這意味著研究人員可以自由地更換或升級其中任何一個組件，而不需要重新設計整個系統。比如，你想要添加一個新的圖像處理模塊，只需要確保它遵循VeOmni的接口標準，就能無縫集成到現有系統中。
訓練過程的設計很直觀，在訓練階段，每個編碼器只需要實現一個名為"lm_encode"的功能，將原始數據轉換為標準格式的嵌入向量，這些向量隨後被插入到基礎模型的輸入中。解碼器也遵循同樣的簡潔設計，通過"lm_head"功能將模型輸出轉換為目標模態的數據。
在推理階段，系統更加智能。當模型生成特定的標記符號時，系統會自動切換到相應的生成模式。比如，當檢測到圖像開始標記時，系統會自動啟動圖像生成流程，通過解碼器的"lm_embed"功能生成中間嵌入，然後使用"lm_generate"功能產生最終的圖像輸出。這種設計讓多模態生成變得既靈活又高效。
分布式訓練的藝術：讓計算資源發揮最大效能
當面對訓練大規模AI模型這個挑戰時，單台電腦的能力顯然是不夠的，就像用一個人來搬運幾十噸貨物一樣不現實。這時就需要分布式訓練，讓多台電腦協同工作，就像組織一個搬運團隊一樣。但是，如何讓這些電腦高效協作，避免互相干擾或資源浪費，這本身就是一門藝術。
VeOmni在這方面的創新可以用"分工合作"來形容。它提供了多種不同的並行化策略，每種策略都針對特定的場景進行了優化。全分片數據並行（FSDP）就像是將一個大型拼圖分發給多個人同時拼裝，每個人負責一部分，最後再將結果合併。這種方法的好處是顯著減少了每台電腦需要的內存，讓原本無法在單台機器上訓練的大型模型成為可能。
序列並行（SP）則專門針對長序列訓練進行了優化。當處理極長的文本、高解析度圖像或長影片時，傳統方法往往會遇到內存不足的問題。VeOmni採用了DeepSpeed-Ulysses技術，將長序列切分到不同的計算設備上處理，就像將一本厚書的不同章節分給不同的人閱讀，然後再匯總理解內容。更巧妙的是，VeOmni還開發了異步版本的Async-Ulysses，讓通信和計算可以同時進行，大大提高了效率。
專家並行（EP）是為混合專家模型（MoE）設計的特殊策略。MoE模型的工作原理類似於一個專業諮詢團隊，面對不同類型的問題時，會激活相應的專家來處理。VeOmni讓這些"專家"能夠分布在不同的計算設備上，同時通過巧妙的通信優化技術，將數據傳輸的延遲隱藏在專家計算的過程中，實現了近乎無損的性能提升。
最重要的是VeOmni的"可組合n維並行"設計。就像搭建樂高積木一樣，你可以自由組合不同的並行策略。比如，你可以同時使用FSDP和SP實現2D並行，或者結合FSDP、SP和EP實現3D並行。這種設計的靈活性意味著研究人員可以根據具體的模型架構和硬體配置，選擇最優的並行組合策略。
更重要的是，VeOmni使用了統一的設備網格抽象來管理這些複雜的並行配置。傳統方法需要手動管理多個進程組，就像同時指揮幾個不同的樂隊一樣複雜。而VeOmni的設計讓這個過程變得像使用遙控器控制電視一樣簡單，研究人員只需要通過簡單的配置就能啟用複雜的並行策略。
系統優化的精妙之處：讓每一分計算資源都物盡其用
除了核心的並行化策略，VeOmni還集成了一系列精心設計的系統優化技術，這些技術就像汽車引擎的各種優化部件一樣，雖然單獨看起來可能不起眼，但組合在一起卻能帶來顯著的性能提升。
動態批處理技術解決了一個常見的效率問題。在傳統方法中，為了批量處理數據，系統往往需要將所有樣本填充到相同的長度，就像為了裝箱整齊而在不同大小的物品間填充泡沫一樣，這會造成大量的計算浪費。VeOmni的動態批處理則像是使用可調節大小的包裝盒，根據實際內容調整容器大小，配合FlashAttention技術，在保證計算正確性的同時最大化了資源利用率。
在計算核心優化方面，VeOmni集成了包括RMSNorm、LayerNorm、RoPE、SwiGLU等在內的高度優化算子核心，以及專門針對MoE操作的優化實現。這些優化就像為發動機更換了高性能零部件，每個組件都經過精心調校，確保在各種不同的硬體配置下都能發揮最佳性能。
內存優化策略包括層級重計算、激活卸載和優化器狀態卸載等技術。這些技術的作用類似於智能內存管理，根據實際需要動態調整內存使用策略。比如，不常用的數據可以暫時存儲到速度較慢但容量更大的存儲設備中，需要時再調回高速內存，這樣就能在有限的內存條件下訓練更大的模型。
檢查點系統使用了ByteCheckpoint技術，實現了高效的模型保存和恢復。這個系統不僅支持在不同的分布式配置間進行模型遷移，還能確保訓練過程的可靠性。就像汽車的自動保存功能一樣，即使遇到意外情況，也能從最近的保存點繼續，而不需要從頭開始。
元設備初始化技術讓大型模型的初始化變得更加高效。傳統方法在初始化大型模型時需要分配實際的物理內存，而VeOmni可以在"虛擬"設備上完成初始化，然後通過DTensor格式進行參數分片和並行加載，顯著加速了大規模模型的啟動過程。
實驗驗證：真實世界中的卓越表現
為了驗證VeOmni的實際效果，研究團隊進行了一系列詳盡的實驗，涵蓋了從8個GPU到128個GPU的大規模集群，測試了從7B到72B參數規模的不同模型。這些實驗就像是對一輛新車進行全方位的路試，從城市道路到高速公路，從日常通勤到長途旅行，全面測試其性能表現。
更令人興奮的是在混合專家模型上的測試結果。使用基於Qwen3-30B-A3B的30B參數MoE模型，VeOmni實現了超過2800 tokens/sec/GPU的訓練吞吐量，能夠擴展到160K的上下文長度。這個性能水平意味著研究人員可以在相對較短的時間內訓練出具有強大多模態能力的大型模型。
與現有的先進框架TorchTitan的對比實驗進一步證明了VeOmni的優勢。在相同的硬體配置和模型設置下，VeOmni在吞吐量和內存效率方面都表現更優。特別是在長序列訓練場景下，當TorchTitan因為內存不足而無法繼續訓練時，VeOmni仍能穩定運行並保持良好的性能。
收斂性研究涵蓋了三種結構不同的全模態模型，包括Janus、LLaMA#Omni和Qwen3-MoE#Omni。這些模型分別專注於不同的任務組合，從純圖像理解和生成，到跨越文本、圖像、影片、音頻的全模態處理。實驗結果顯示，所有模型在使用VeOmni訓練時都表現出穩定的收斂行為，驗證了框架的可靠性和通用性。
這些實驗數據不僅展示了VeOmni在技術指標上的優勢，更重要的是證明了其在實際應用中的可行性。研究團隊使用了多個領域的真實數據集，包括FineWeb-100T用於文本理解、ShareGPT4V用於圖像理解、LLaVA-Video用於影片理解、Voice Assistant用於音頻理解，以及ImageNet用於圖像生成任務。這種全面的測試確保了VeOmni能夠應對真實世界中的複雜訓練需求。
至頂AI實驗室洞見
VeOmni提供了全模態AI訓練中的技術難題的解決思路。
從技術發展的角度來看，VeOmni降低了進行大規模多模態AI研究的門檻。現在，研究人員可以將更多精力投入到模型設計和算法創新上，而不是被系統工程問題所困擾。
在商業應用方面，VeOmni使得更多的公司能夠開發自己的全模態AI產品。過去，開發這樣的產品需要巨大的技術投入和專業知識，現在中小型公司也能夠利用VeOmni快速構建出具有競爭力的AI產品。這種技術民主化可能會催生更多創新的應用場景。
教育領域也將從中受益。VeOmni的簡潔設計和清晰文檔使其成為優秀的AI教學工具。電腦科學和AI專業的學生可以通過實際操作VeOmni來深入理解分布式機器學習的原理和實踐。
從更廣泛的社會影響來看，VeOmni可能會加速多模態AI技術的普及和應用。當創建能夠同時理解和生成文字、圖像、音頻、影片的AI系統變得更加容易時，我們可能會看到這些技術在教育、醫療、娛樂、工業設計等各個領域的廣泛應用。
論文地址：https://arxiv.org/abs/2508.02317
本文來自至頂AI實驗室，一個專注於探索生成式AI前沿技術及其應用的實驗室。致力於推動生成式AI在各個領域的創新與突破，挖掘其潛在的應用場景，為企業和個人提供切實可行的解決方案。
Q&A
Q1： VeOmni是什麼？
A：VeOmni是一個模塊化訓練框架，專為加速全模態大語言模型（omni-modal LLMs）開發而設計。它通過模型中心的分布式配方庫解耦模型定義與並行邏輯，支持高效3D並行（如FSDP、SP和EP）。例如，在128個GPU上訓練30B參數的混合專家模型時，吞吐量超2,800 tokens/sec/GPU。該框架還提供輕量級接口，以最小代碼更改集成新模態。
Q2：VeOmni如何實現全模態訓練？
A：VeOmni使用模型中心配方（如FSDP、SP和EP）解耦通信與計算，使不同模態模塊（如視覺編碼器）可獨立處理。它採用輕量接口（基於HuggingFace的PreTrainedModel），簡化多模態集成；它的複合架構包括解耦的編碼器、基礎模型和解碼器。靈活並行組合（如FSDP SP EP）處理長序列和MoE模型，減少工程開銷。
Q3：VeOmni的訓練性能有多高？
A：實驗中，VeOmni在128 GPU上訓練30B參數模型時，支持160K上下文長度，吞吐量達2,800 tokens/sec/GPU。對於7B模型，它能處理192K序列長度，模型浮點利用率（MFU）為61.5%。它的n維並行設計能高效處理數據流和負載平衡。該系統在8-128 GPU規模下優於現有框架（如TorchTitan），確保穩定收斂。
