據Gartner預測，到2026年，將有超1億人與生成式AI一起工作，到2027年將有近15%的新應用由AI自動生成，無需人工參與。麥肯錫則預測，生成式AI將為全球經濟發展帶來2.6萬億—4.4萬億美元的價值增長。
AI技術帶來的巨大未來預期，讓國內眾多企業趨之若鶩。截至2023年7月，中國累計已經有130個大模型問世，其中排名靠前的多為網際網路科技巨頭旗下產品，如百度的文言一心，阿里的通義千問等。在一眾巨頭奔赴大模型的盛況中，似乎唯獨字節跳動顯得比較沉寂，直到7月才出現零星消息，8月才發布名為「豆包」的語言大模型。
而事實上，字節很早便開始布局人工智慧領域。早在2016年，字節就成立了人工智慧實驗室AI Lab，聚焦於自然語言處理、機器學習、數據挖掘等方面的研究。
到了今年2月，字節跳動在大模型領域的布局開始提速。據晚點Post報道，字節在戰略上分三條路線同時進行，領導者分別是TikTok產品技術負責人朱文佳，Data-AML（數據-應用機器學習）負責人項亮，字節ALLab（人工智慧實驗室）總監李航。
若以學術和落地兩個方向進行劃分的話，李航團隊更偏學術理論探索，朱文佳團隊更趨向場景落地，項亮團隊則處於中間位置。正因如此，朱文佳團隊的發力點主要集中在能賦能自家產品的語言和圖像兩種模態上。
與此同時，字節跳動創始人ZYM的相關言論，也在很大程度上反映了該公司對AI的重視。今年4月，ZYM在2023公開信中表示，字節跳動無法錯過AGI；AGI是抖音和TikTok在全球發現新增長機遇不可或缺的夥伴，可以解決字節跳動的第二曲線增長困境。
大模型服務平台：火山方舟
過去十年崛起的網際網路大廠中，幾乎都存在一個思維定式：自己搭台，請別人唱戲，阿里、騰訊、字節的主要業務莫不如此。而在這一次AI大模型浪潮下，幾家巨頭似乎再次想到了一塊兒。
6月19日，騰訊發布了自家的大模型服務平台——騰訊雲MaaS，其定位是依託騰訊雲TI平台打造行業大模型精選商店，為B端客戶提供MaaS（模型即服務）一站式服務，該平台技術底座來自騰訊全棧能力，能提供高性能計算集群HCC、高性能網路、向量資料庫等基礎設施。
僅一周後，字節旗下的火山引擎也發布了大模型服務平台——火山方舟，其運營模式是，在一個平台內提供多個模型，企業可同步試用多個大模型，選用更適合自身業務需要的模型組合。本質上，字節的這個業務是給國內大模型公司提供算力等配套服務，是一個「賣鏟子」的角色。
對於入駐平台的大模型企業，火山方舟一方面能夠大幅降低其觸達海量客戶的成本，以更小的代價在B端市場實現規模化。據QuestMobile報告，截至2023年6月，騰訊、阿里、百度及抖音的去重用戶總量均超10億，分別是12.12億、11.83億、11.05億、10.11億。此外，字節在海外還有8.4億的日活用戶，總體用戶體量在全球範圍內僅次於Meta。
另一方面，火山方舟平台主打嚴謹的安全互信機制，兼顧靈活性與安全性。為促進模型提供方和模型使用方的互信，火山方舟上線了基於安全沙箱的大模型安全互信計算方案，利用計算隔離、存儲隔離、網路隔離、流量審計等方式，實現了模型的機密性、完整性和可用性保證，適用於對訓練和推理延時要求較低的客戶。
最重要的一點是，字節能提供源源不斷的算力，讓大模型企業在競爭中占據優勢。為吸引大模型公司入駐火山引擎，字節跳動把抖音等業務的空閒計算資源極速調度給火山引擎，並比同行更低的價格出售算力服務。此外，有消息稱，今年字節跳動向英偉達訂購的GPU產品總價超10億美元，接近英偉達去年在中國銷售的商用GPU總和。在這種極度燒錢的行業現狀下，字節的算力資源無疑是字節敢於做大模型服務平台的底氣所在。
目前，火山方舟內已經集成了百川智能、出門問問、復旦大學MOSS、IDEA研究院、瀾舟科技、MiniMax、智譜AI等多家AI科技公司及科研院所的大模型。
火山引擎總裁譚待表示，「十年前，中文網際網路開始從PC時代轉向移動時代，其中最大的技術創新就是個性化推薦算法。五年前，4G技術開始普及，帶寬不再成為瓶頸，以抖音為代表的短影片，也正是在這次技術變革期間湧現出來的新體驗和新交互。時間來到現在，大模型已經當仁不讓拿起了技術革新和體驗創新的接力棒。」
雲雀大模型和「豆包」
2023年8月31日，首批通過《生成式人工智慧服務管理暫行辦法》備案的企業名單出爐，百度（文心一言）、抖音（雲雀大模型）、智譜AI（智譜清言）、中科院（紫東太初大模型）、百川智能（百川大模型）、商湯（商量SenseChat大模型）、MiniMax（ABAB大模型）、上海人工智慧實驗室（書生通用大模型）8家企業赫然在列，此後這些企業可正式上線面向公眾的大模型服務。
這是字節「雲雀大模型」這一名稱首次出現在媒體報道中，而此前字節已於8月17日公測了基於雲雀大模型開發的AI對話產品「豆包」，該應用有網頁端、ios和安卓客戶端，預置了英語學習助手和寫作助手兩個功能。
雲雀大模型和「豆包」的關係，類似於食材和菜品。因為「大模型」通常是在無標註的大數據集上，採用自監督學習的方法進行訓練得來。而要將其應用在具體的垂直場景中，需要對模型進行微調或二次訓練，「豆包」便是由雲雀大模型微調得來。
雲雀大模型的定位是一個多媒體內容生成和內容理解的AI大模型，該模型基於字節神經網路加速器開發，可以根據用戶輸入的圖片、影片、音頻、文字等資訊，生成各種類型和風格的多媒體內容，如影片剪輯、音樂配樂、濾鏡特效、字幕翻譯等。它還可以對輸入的多媒體內容進行分析和評價，如標籤、分類、質量、風格等。
而據「豆包」官網介紹，其核心服務主要是AI對話，接入了利用深度神經網路、強化學習等技術訓練的大規模語言模型以及其他模型及服務，模型採用對話格式，可以根據用戶輸入的指令，通過自動化分析後生成參考資訊。
技術背景方面，「豆包」基於深度學習，可以對輸入的文本進行預測和生成。其語言模型基於Transformer架構，具有高效的並行處理能力和良好的語言理解能力；「豆包」的訓練數據來自網際網路上的大量文本，包括新聞、博客、小說、論文等。這些數據被用於訓練「豆包」語言模型，以提高其語言理解和生成能力；「豆包」的訓練過程中使用了多種優化算法，包括隨機梯度下降、Adagrad、Adadelta等。
多模態大模型BuboGPT
除了語言大模型「豆包」，字節在8月還發布了一款處於測試階段多模態大模型BuboGPT，該模型能夠處理包括文本、圖像和音頻在內的多模態輸入，並具有將其回復與視覺對象相關聯的獨特能力。
簡單來說，它不僅可以理解圖像、音頻和文本，並將這些理解與文本輸入和輸出相結合，還可以精確定位和描述圖像中的物體以及聲音的來源。
BuboGPT的誕生是建立在大型語言模型（LLM）的基礎之上，BuboGPT創造性地將LLM與其他組件相結合，使其能夠一起處理圖像、音頻、文本並推理它們之間的關係。BuboGPT的核心功能主要體現在以下幾個方面：
一是多模態理解能力。BuboGPT實現了文本、視覺和音頻的聯合多模態理解和對話功能；二是視覺對接能力。BuboGPT能夠將文本與圖像中的特定部分進行準確關聯，實現細粒度的視覺對接；三是音頻理解能力。BuboGPT能夠準確描述音頻片段中的各個聲音部分，即使對人類來說一些音頻片段過於短暫難以察覺；四是對齊和非對齊理解能力。BuboGPT能夠處理匹配的音頻-圖像對，實現完美的對齊理解，並能對任意音頻-圖像對進行高質量的響應。
BuboGPT 的框架
相比其他多模態大模型，BuboGPT利用文本與其他模態之間的豐富資訊和明確對應關係，提供了對視覺對象及給定模態的細粒度理解。為了實現多模態理解，BuboGPT使用了一個共享的語義空間，並構建了一個視覺定位pipeline，其中包括標記模塊、定位模塊和實體匹配模塊。
相比於大語言模型「豆包」，顯然BuboGPT在創新方面走得更遠，其開創的「visual grounding」，能將視覺元素和語言線索聯繫起來。BuboGPT核心貢獻是三個模塊：標記模塊、定位模塊和實體匹配模塊。標記模塊為給定圖像生成相關的文本描述符，而定位模塊則生成語義掩碼或框，從而精確指出每個描述符的空間本質。最後，實體匹配模塊利用LLMs推理的敏銳性，在文本和視覺結構之間實現匹配。
顯然，BuboGPT的出現和字節旗下業務密切相關。作為全球範圍內的社交巨頭，字節旗下擁有抖音等多個C端應用，在音影片上的應用場景非常豐富，多模態大模型BuboGPT可以從多個方面為這些社交應用進行賦能。
綜合字節在B端、C端和學術端的三款產品，字節的AI大模型布局已經初見成效。尤其是多模態大模型BuboGPT，目前在全球範圍內並無其他競品。這得益於字節旗下短影片產品積累了豐富語料與標註數據，且字節在算法和算力上均走在行業前列。
另外，全球範圍內的大模型競爭，其最重要的門檻還是在資金層面，這一點字節的優勢也非常巨大。有消息稱，字節2022年營收約800億美元，較上年同期的617億美元增長30%。同期騰訊的營收也不過5545.52億元。
今年5月份，曾有媒體報道稱，ZYM正在看一系列的OpenAI論文，甚至熬夜看，已經到了廢寢忘食的地步。看來這位曾經的程式設計師，如今的網際網路傳奇人物，是真的準備打一場硬仗了。
