這項由阿里巴巴集團Wan團隊完成的研究，於2026年7月17日以技術報告形式發布，論文編號為arXiv:2607.14749，感興趣的讀者可通過該編號在arXiv平台查閱完整原文。
平時用AI生成一段音樂，你可能會發現一個令人頭疼的現象：歌手唱著唱著跑調了，背景音樂越到後面越稀碎，或者人聲把伴奏完全壓住，整體聽起來像是一個沒調好音量的卡拉OK現場。這不是你的耳朵挑剔，而是目前絕大多數AI音樂生成系統在技術架構上就存在的根本性缺陷。阿里巴巴的研究團隊深入分析了這個問題，並拿出了一套他們稱之為WanSong v1.0的解決方案——一個純粹基於擴散模型、能一口氣生成長達5分鐘商業級歌曲、並且同步輸出人聲和伴奏兩條獨立音軌的系統。
---
一、為什麼現有的AI音樂系統聽起來總差那麼一口氣
要理解WanSong解決了什麼問題，得先明白AI音樂生成領域目前的主流做法是怎麼運作的。
以Suno和Mureka這類已經頗具聲譽的商業級AI音樂平台為例，它們的核心技術是"自回歸模型"（Autoregressive Model，簡稱AR模型）。自回歸模型的工作方式，就像一個逐字寫信的人——它先生成第一個字，然後根據第一個字決定第二個字，再根據前兩個字決定第三個字，以此類推，一個音頻片段一個音頻片段地接續下去。這種方式有一個很大的優點：邏輯嚴謹，每一步都有據可依。但它的缺點同樣明顯：速度慢，而且越到後面，累積誤差越大，就像用多米諾骨牌搭建一棟大樓，前面一塊倒歪了，後面整棟樓都會歪。對於一首隻有20秒的片段來說還勉強能撐住，但要生成5分鐘的完整歌曲，這個累積誤差就足以讓整首歌的質量急劇下降。
另一些系統走的是"AR加擴散"的組合路線——先用AR模型生成一個粗糙的音頻骨架，再用擴散模型（Diffusion Model）來打磨細節、提升音質。這種方式雖然比純AR有所改進，但本質上仍是多階段流水線：前一個階段的錯誤會傳遞給下一個階段，整個系統變得複雜難以控制，生成效率也依然受限。
阿里巴巴的團隊決定繞開這條彎路。他們的思路是：既然擴散模型在圖像生成領域（比如Stable Diffusion、FLUX等）已經證明了自己能以端到端的方式生成極高質量的內容，為什麼不直接把同樣的邏輯搬到音樂生成上？不要AR，不要多階段流水線，純粹用擴散模型一步到位。
擴散模型的工作邏輯和AR完全不同。擴散模型更像一個雕塑家——它先把一塊毫無形狀的大理石（純隨機噪音）放在面前，然後通過一系列精細的雕刻步驟，逐漸讓形狀從噪音中浮現出來，直到最終雕刻出一件完整的作品。整個過程是整體性的，而不是逐片段拼接的，因此天然更擅長維持全局一致性。對於長達5分鐘的歌曲來說，這個特性至關重要。
---
二、把聲音當作"連續的水流"而不是"離散的磚塊"
在技術實現上，WanSong做了一個根本性的選擇：把音頻視為連續的數值序列（即"連續token"），而不是離散的符號序列。
這個區別聽起來抽象，用一個具體的比喻來理解：假設你要記錄一段鋼琴曲的音高變化。離散化的做法，是把所有音高歸類到鋼琴鍵盤上固定的幾十個鍵位上——C調、D調、E調……每個音符對應一個整數編號，整首曲子就是一串整數數列。這種方式簡單，但會損失掉鍵與鍵之間那些微妙的音調變化和演奏情感。連續化的做法，則是直接記錄音高的實際頻率值（比如441.2赫茲、440.0赫茲……），保留所有的細微差異。WanSong選擇的就是後者。
為了讓擴散模型能高效處理這些連續音頻信號，團隊專門訓練了一個叫做"變分自編碼器"（VAE）的壓縮模組。它的職責，就像一個翻譯官：把原始的高採樣率立體聲音頻（44100赫茲的立體聲波形），壓縮成一個體積更小但保留關鍵特徵的"濃縮表示"，然後把這個濃縮表示餵給擴散模型處理；生成完成後，再由VAE反向解碼，還原成可以播放的音頻文件。
這個VAE的具體參數是：輸入一段雙聲道、44100赫茲的音頻，輸出一個64維度的連續隱向量序列，壓縮比為1024倍——也就是說，原始音頻中每1024個採樣點，被壓縮成隱空間中的一幀，最終的隱向量幀率約為每秒43.1幀。
為什麼壓縮比選1024而不是更大？這背後有一個精心設計的權衡。團隊做了嚴格的對比實驗，分別測試了壓縮比2048和壓縮比1024兩種方案。結果清楚地顯示：壓縮比為2048時，模型在發音錯誤率（PER，即AI唱歌時唱錯字的比例）上達到19.2%，音質評分（滿分5分）只有2.1分；而壓縮比為1024時，發音錯誤率下降到15.0%，音質評分躍升至3.2分。團隊還測試了一種折中方案：用1024的VAE，但在送入擴散模型之前再把相鄰兩幀拼接成一幀（相當於等效壓縮比變回2048），結果發音錯誤率反而升到20.6%——說明表面上看起來等效的壓縮比，其資訊損失方式並不一樣，直接用更低壓縮比的VAE是更優解。當然，團隊也沒有無限制地降低壓縮比，因為壓縮比越低，token數量越多，計算量和內存消耗就會成倍增長，生成速度也會急劇下降。1024這個數字，是在質量和效率之間找到的最佳平衡點。
VAE的訓練本身也相當複雜。團隊使用了約2.6億條音頻片段來訓練它，數據構成刻意按照音樂50%、語音40%、環境聲音10%的比例進行平衡。這個比例設計頗具深意：如果只用音樂訓練，VAE會擅長處理樂器聲，但面對人聲的爆破音（如"p""b"音）和摩擦音（如"s""sh"音）時就會力不從心；加入大量語音數據，能讓VAE在保持音樂質量的同時，把人聲中的細節也還原得更清晰。訓練時採用的損失函數組合了多解析度頻譜損失、特徵匹配損失、對抗損失和KL散度約束四個部分，在32塊英偉達
A100顯卡上跑了150萬步。
與同類產品Stable Audio 2相比，WanSong的VAE在所有指標上均有明顯優勢。在內部音樂測試集上，STFT頻譜距離（越低越好）從1.430降至1.029，梅爾頻譜距離從0.856降至0.629，尺度不變信噪比（越高越好）從4.386dB提升至7.246dB。在語音測試集上的提升幅度更大：信噪比從8.653dB躍升至12.922dB，提升了近4.3dB。
---
三、人聲和伴奏為什麼不能塞進同一個箱子
VAE解決了音頻壓縮的問題，但真正的核心挑戰還在後面。
團隊在早期實驗中發現了一個棘手的現象：當把人聲和背景音樂（BGM）混合在一起，作為一個整體去訓練擴散模型時，模型會表現出明顯的"偏科"——它更傾向於把注意力集中在人聲上，而把BGM的學習置於次要位置，導致生成結果中BGM質量普遍偏差。
更麻煩的是，調整"分類引導強度"（Classifier-Free Guidance，簡稱CFG）這個參數也無法解決這個問題。CFG可以理解為一個總音量旋鈕：把它擰大，人聲會變得更準確、發音更清晰，但BGM同時會被壓弱；把它擰小，BGM的質量會改善，但人聲的準確性又會下降。無論旋鈕放在哪個位置，總有一方會受委屈。這就像用同一個鍋同時煮清蒸魚和紅燒肉——火候對清蒸魚來說剛好，對紅燒肉來說就不夠；兩種食材對烹飪條件的要求不同，放在一起必然顧此失彼。
WanSong的解決方案被命名為"雙莖（Dual-Stem）建模"。"莖"這個詞來自音頻製作領域的"stem"，指的是一首歌的獨立分軌文件。簡單來說，就是讓模型在最終輸出時，把人聲和BGM作為兩條完全獨立的音頻流分開生成，每條流都有自己專屬的token序列和獨立的擴散訓練目標。
但這裡有一個微妙之處：獨立輸出，並不意味著完全隔離學習。如果人聲和BGM在整個訓練過程中完全獨立、互不相知，它們之間的音調協調、節奏配合、情感呼應就無從建立。一首好歌之所以好聽，正是因為人聲和伴奏之間存在大量的內在關聯——主唱在高音區域演唱時，伴奏往往會有相應的和聲呼應；歌詞進入副歌時，鼓點和弦樂往往同步爆發。
為此，WanSong採用了"在層內聯合學習"的策略：在Transformer模型的每一個計算層（block）內部，人聲token和BGM token被當作同一個token的不同通道來處理，讓它們在內部資訊流通時互相感知對方的狀態；但在模型的最終輸出層，它們被分開，各自預測自己獨立的音頻目標。用工廠流水線來類比：零件A和零件B在組裝車間（模型內部各層）會彼此感知、相互配合，但最終出廠時分裝在兩個獨立的包裝盒裡（兩條獨立的輸出stem）。
這一設計的好處不僅在於生成質量的提升，還有一個非常實用的附加價值：既然生成時就是分軌輸出的，那麼用戶拿到的結果天然就是一個"人聲軌+伴奏軌"的組合，可以直接用於後期製作——比如單獨調整人聲音量、替換伴奏風格、或者提取干聲用於混音。這個功能在傳統AI音樂工具中往往需要額外的"音源分離"步驟，費時費力且會有質量損失，WanSong從根本上消除了這個需求。
模型的損失函數也體現了這種雙目標結構。訓練時，總損失是人聲損失和BGM損失的加權求和，權重係數αvocal和αbgm可以分別調節，用來控制模型對兩個方向的學習力度。
---
四、搭建這台"音樂工廠"的骨架結構
WanSong的擴散模型主幹採用的是"混合MMDiT"架構。MMDiT（Multi-Modal Diffusion Transformer，多模態擴散Transformer）是Stability AI在圖像生成領域提出的一種設計，核心思想是讓來自不同模態（比如文字和圖像）的token在Transformer內部通過獨立的參數流進行交互。WanSong在音樂領域沿用了這個思路，讓文字描述的token和音頻token能夠在模型內部充分交流。
但團隊發現，沒有必要在每一層都為不同模態維護完全獨立的參數——這樣做參數量會急劇膨脹，而收益並不成比例。受FLUX圖像生成模型的啟發，他們設計了一種"混合"方案：模型由兩類block組成，前N層是"雙流block"（Double Stream Block），文字token和音頻token分別走各自的注意力計算路徑，充分交換跨模態資訊；後K層是"單流block"（Single Stream Block），兩種token合併成一條統一的流，通過標準的自注意力機制進行處理。最終確定N/(N+K)的比例為0.3，即約30%的層是雙流結構，70%是單流結構，整個模型的總參數量接近250億（25B）。
在整個推理過程中，文字輸入（比如"一首充滿活力的流行英文歌，描述夏日海邊"）先由一個大型語言模型（LLM）編碼成文字token；人聲和BGM各自由VAE編碼成連續音頻token；這三類token被拼接成一條統一的長序列，送入混合MMDiT主幹進行擴散去噪；最終輸出兩條分離的隱向量序列，由VAE解碼為可播放的人聲音頻和伴奏音頻。
為了在處理不同長度、不同批次的樣本時提高效率，團隊還引入了"序列打包"（token packing）技術——把來自不同樣本的token序列直接拼接在一起，填滿一個批次的計算窗口，減少無效的padding浪費。在每個block中，他們沿用了Wan2.1影片生成模型中的"完全共享AdaLN"技術，讓時間步的條件調製參數在所有block間共享，在不影響性能的前提下顯著減少了參數量。
---
五、從短曲到長歌：分階段餵養這台機器
訓練如此大規模的模型，不可能一步到位。WanSong的預訓練被分成三個階段，像訓練一名馬拉松運動員一樣，從短距離開始，逐步拉長訓練距離。
第一階段專注於90秒以內的歌曲片段，讓模型先學會在短時間內生成連貫、高質量的音頻。第二階段把訓練長度延長至300秒（即5分鐘），讓模型學習如何維持更長時間跨度的音樂結構一致性。第三階段則是有監督精調（SFT），用精心篩選的高質量歌曲樣本對模型進行針對性的質量提升。
整個訓練框架採用的是"流匹配"（Flow Matching）技術，具體是"修正流"（Rectified Flow）的變體。其原理是在純噪音和目標音頻之間建立一條"直線路徑"——給定時間步t（從0到1），訓練目標Xt就是目標音頻X1和純噪音X0的線性插值：Xt = t×X1 + (1-t)×X0。模型的學習任務，就是在任意時間步t上，準確預測"速度向量"Vt（即Vt = X1 - X0），這個速度向量告訴擴散模型應該以多快的速度、朝哪個方向從噪音狀態向目標音頻移動。
---
六、用人類偏好來"調口味"
即便經過了三階段預訓練和有監督精調，AI生成的歌曲在人類聽起來還是會有一些難以量化、難以用損失函數直接描述的"差一口氣"感——比如整體旋律流暢度不夠，歌詞和曲調的情感搭配不自然，或者生成結果沒有很好地貼合用戶給出的文字描述。
為了填補這個最後一公里的差距，團隊引入了強化學習人類反饋（RLHF）技術。具體思路是：針對三個最能影響聽感的維度分別建立獨立的評估模型——音樂性（旋律、和聲、結構等音樂本身的質量），歌詞準確性（AI唱出的詞是否和輸入的歌詞一致），以及提示詞對齊度（生成的歌曲風格是否符合文字描述）。
每個維度的評估模型都通過"對比學習"訓練：收集大量人類標註的正向樣本（聽起來好的歌曲）和負向樣本（聽起來差的歌曲），讓獎勵模型學會區分好壞。損失函數的形式是：L = -E[log σ(R(好樣本) - R(差樣本))]，本質是最大化好樣本和差樣本在獎勵分數上的差距。
三個獎勵模型訓練完成後，團隊採用了兩種強化學習方式的組合。第一種是DPO（Direct Preference Optimization，直接偏好優化），它直接基於正負樣本對來優化模型，覆蓋擴散過程的每一個時間步，因此更適合改善音頻的全局結構和整體層面的質量；但DPO的缺點是它的目標是優化正負樣本之間的相對關係，而不是直接把樣本推向更高的獎勵分數，因此優化信號中包含較多噪音。第二種是ReFL（Reward Feedback Learning），它直接利用獎勵模型的評分信號來優化生成模型，更精準，更適合改善細節層面的質量；但ReFL只在擴散過程的低噪音階段有效，對全局結構影響有限，且容易出現"鑽空子"（reward hacking）的問題——模型會找到一些能騙過獎勵模型評分、但實際上並不好聽的"捷徑"。兩種方法互補：先用DPO打好全局結構的底子，再用ReFL精雕細琢局部細節，形成接力。
---
七、6百萬小時數據背後的數據工程
一切算法的前提，是數據。WanSong的訓練數據集最終規模超過600萬小時的多語言歌曲數據，這個數字背後是一條複雜的五階段數據流水線。
數據收集階段，團隊廣泛採集涵蓋多種語言、多種音樂風格（從流行、搖滾、爵士到EDM）、不同時長的音頻內容，同時包含有人聲的歌曲和純器樂曲目。
數據預處理階段，每條原始音頻都要經過一系列自動分析處理：音頻類型分類（這是歌曲還是語音還是噪音？），音質評估（這段錄音的清晰度夠不夠？），結構解析（這首歌的前奏、主歌、副歌、尾聲在哪裡？），語音活動檢測（VAD，判斷哪些時間段有人在唱歌），語言識別（這首歌是中文、英文、日文還是韓文？），以及音軌分離（把混合音頻分成人聲軌和伴奏軌）。
數據過濾階段，綜合音頻類別和音質評分，過濾掉質量不達標的樣本，構建出一個高質量的子數據集。團隊還設計了多維度的標註分類體系，使得訓練數據可以在不同訓練階段靈活調度——早期階段可以多用相對普通的數據建立基礎能力，後期精調階段再用最高質量的數據進行衝刺。
數據標註階段，這是整個流水線中被重點強調的一環。團隊對每首歌曲進行了極為細緻的人工和自動標註，包括音樂風格、人聲特徵、使用的樂器種類、調式和音調、演唱語言、混響效果、情感色彩，乃至完整的歌詞文本。標註質量直接決定了模型能否根據文字描述準確生成對應風格的歌曲。
數據採樣階段，由於不同類別的數據量天然不均衡（比如流行音樂的數量可能是爵士樂的幾十倍），團隊設計了細粒度的平衡採樣策略，確保模型在每個訓練階段都能均勻接觸各種音樂風格、語言和音質層次的樣本，避免在某些風格上過擬合。
---
八、實際測試中表現如何
為了系統評估WanSong的生成質量，團隊專門建立了一個測試基準，包含200首樣本，覆蓋中文、英文、日文、韓文四種語言，跨越流行、放克、電子舞曲、搖滾、鄉村、爵士等十餘種一級音樂風格，每首樣本時長約4分鐘。
在發音錯誤率（PER）這個指標上，WanSong的表現尤為突出。PER衡量的是AI在唱歌時把歌詞唱錯的比例，越低越好。LeVo（另一款國內AI音樂模型）的PER高達27.11%，意味著約四分之一的音節都被唱錯了；Suno V5的PER為22.80%；Mureka V7.6達到12.7%，已經相當不錯；而WanSong以7.43%的PER位列最優，遠低於其他所有參與比較的系統。
在SongEval這套歌曲質量評估框架（包含清晰度、連貫性、記憶度、音樂性、自然度五個維度）的測試中，各系統的分數差距相對較小，WanSong在多個維度上取得最高或並列最高分，但由於SongEval只基於約2000首歌曲訓練，其泛化能力存在一定局限。
為了更準確地評估音樂性，團隊自行開發了一套綜合音樂質量評估模型，基於80000首人工標註歌曲訓練，從旋律（權重0.4）、結構（權重0.25）、整體聽感（包含和聲、織體、編曲、情感、人聲、混響等，權重0.35）三個維度進行加權評分，滿分10分。在這個自研評測維度上，結果差異顯著：LeVo得1.69分，Mureka V7.6得3.83分，Suno V5得4.18分，WanSong以5.49分領先，優勢明顯。
另外，在Muq文本對齊度（衡量生成歌曲與輸入文字描述的相關性）上，WanSong以0.44分與Suno V5並列最高，高於Mureka V7.6的0.43分和LeVo的0.34分。
---
說到底，WanSong v1.0證明了一件事：在AI音樂生成這個領域，擴散模型完全有能力獨當一面，不需要藉助自回歸模型的"拐杖"。一次運行、一步生成、直接出兩條分軌——這種簡潔性本身就是一種競爭力。當然，這份技術報告更像是一張成績單和一扇半開的門，而不是一個終點。更多語言、更複雜的編曲風格、更精細的用戶自定義控制，仍然是擺在前面的挑戰。不過對於普通用戶來說，最直接的意義或許是：以後想把一首AI生成的歌拿去後期處理，不必再費心手動分離人聲和伴奏了——它生成出來就是分好的，可以直接用。這一點，對內容創作者來說實實在在省去了不少麻煩。
有興趣深入了解技術細節的讀者，可以通過arXiv編號2607.14749找到WanSong v1.0的完整技術報告。
---
Q&A
Q1：WanSong生成的歌曲最長能有多久？支持哪些語言？
A：WanSong v1.0可以生成最長5分鐘（300秒）的完整歌曲，一次運行即可完成，不需要分段拼接。目前支持中文、英文、日文、韓文四種語言，測試基準中已覆蓋這四種語言的歌曲生成任務。
Q2：雙莖建模和普通的音源分離技術有什麼區別？
A：普通的音源分離是在歌曲生成完成之後，再用另一個模型把混合音頻"拆開"，這個過程會有額外的資訊損失。WanSong的雙莖建模是在生成過程中就直接輸出兩條獨立音軌，人聲和伴奏從來沒有真正混合在一起，因此不存在"分離損失"，質量更高，也更適合直接用於後期製作。
Q3：WanSong在發音準確率上為什麼比其他模型好這麼多？
A：核心原因在於雙莖建模策略解決了CFG參數調節時人聲和BGM相互干擾的問題，讓模型可以在不壓制BGM的前提下專注優化人聲發音準確性。此外，VAE採用1024壓縮比而非更大的2048，保留了更多音頻細節，也對發音準確率有直接貢獻。在7.43%的發音錯誤率下，大約每100個音節中不到8個出錯，明顯優於其他參與比較的系統。
