AI基準測試平台MLPerf最新訓練測試結果顯示，英偉達處理器正遙遙領先，英特爾緊隨其後，谷歌則遠遠落在了後面。針對電腦系統訓練機器學習神經網路的公平測試（apples-to-applestest），已全面進入生成式人工智慧時代。
今年年初，MLPerf增加了一個用於訓練大型語言模型（LLM）的測試，主要是針對GPT-3。而就在本月，MLPerf又增加了一個基於文本生成圖像的測試Stable Diffusion。英偉達和英特爾的處理器參與了該基準測試，而在訓練GPT-3時，谷歌也加入到了測試行列中。
PS：MLPerf（Machine Learning Performance）基準測試是由學術界和工業界共同組成的非營利性組織，旨在建立一個公平、透明且可復現的機器學習性能評估平台。該項目於2018年啟動，得到了全球範圍內眾多知名學術機構和科技公司的支持與參與。其目標是為機器學習研究者和開發者提供一個統一的標準和基準測試工具，以促進機器學習系統的性能提升和相互比較。
三家公司都為這項任務投入了龐大的系統。其中，英偉達的10000GPU超級電腦是有史以來測試過的最大的超級電腦，而這種規模的超級電腦在生成式人工智慧中是必不可少的。但即使這樣，該電腦也需要八天的時間才能完全完成LLM的訓練任務。
本次測試共計有19家公司和機構提交了200多項測試結果，測試結果表明在過去五個月中電腦處理器性能提升了2.8倍，自五年前MLPerf成立以來則提升了49倍。
10752個GPU的超級電腦
在MLPerf基準測試中，英偉達公司的H100 GPU系統繼續占據主導地位。但最令人驚喜的是該公司新推出的人工智慧超級電腦Eos，該電腦擁有高達10752個GPU。利用所有這些GPU完成GPT-3訓練基準的任務，Eos只用了不到4分鐘時間。微軟的雲計算部門Azure測試了一個大小完全相同的系統，結果卻是僅以幾秒之差落後於Eos。（Azure為GitHub的編碼助手CoPilot和OpenAI的ChatGPT提供訓練支持）。
Eos的GPU每秒可進行426億億次浮點運算（exaflops）。這些GPU與英偉達的Quantum-2 Infiniband互聯，傳輸速度高達每秒110萬億字節。英偉達人工智慧基準測試和雲計算總監戴夫-薩爾瓦托雷說：「其速度和數據規模令人難以置信。這是一台能力驚人的機器。」
Eos將單台機器上綁定的H100 GPU數量增加了三倍，這三倍的增長換來了2.8倍的性能提升，即93%的擴展效率。高效的擴展是持續改進生成式人工智慧的關鍵，而生成式人工智慧每年都在以10倍的速度增長。
Eos所解決的GPT-3基準測試並不是對GPT-3的完整訓練，因為MLPerf希望大多公司都能做到這一點。相反，Eos的任務是將系統訓練到某個檢查節點，以證明如果有足夠時間的情況下，訓練將能達到所需的準確度。
而這些訓練確實需要時間。從以Eos在這4分鐘內的訓練速度推算，完成所有訓練需要8天，而這還是在迄今為止最強大的人工智慧超級電腦上完成的。如果是一台普通的512 H100，則需要4個月時間。
英特爾步步緊逼
英特爾提交了使用Gaudi 2加速晶片系統的測試結果，以及完全不使用加速晶片、僅使用第四代Xeon CPU系統的測試結果。與上一組訓練基準相比，最大的變化是英特爾啟用了Gaudi 2的8位浮點運算（FP8）功能。
過去10年中，GPU性能的提升主要歸功於FP8等低精度數字的使用。在GPT-3和其他Transformer神經網路中使用FP8，其低精度不會影響準確性，這已經在英偉達H100的測試結果中得到了驗證。現在，在Gaudi 2上也看到了這種提升。
英特爾Habana實驗室首席運營官艾坦-梅迪納表示：「我們預計使用FP8會帶來90%的提升。最終結果超出了預期——384加速器集群的訓練時間縮短了103%」
這一新成果使Gaudi 2系統的單晶片速度略低於英偉達系統的三分之一，是谷歌TPUv5e的三倍。而在新的圖像生成基準測試中，Gaudi 2的速度也只有H100的一半左右。GPT-3是本輪唯一啟用FP8的基準測試，但梅迪納說他的團隊正在努力為其他基準測試啟用FP8。
梅迪納繼續說明，Gaudi 2的價格明顯低於H100，因此在價格和性能的綜合指標上具有優勢。梅迪納預計，隨著下一代英特爾加速器晶片Gaudi 3的問世，這一優勢將進一步擴大。該晶片將於2024年量產，採用與英偉達H100相同的半導體製造工藝。
另外，英特爾還提交了僅基於CPU的系統結果。同樣，幾項基準測試的訓練時間都在幾分鐘到幾小時之間。
除了MLPerf基準之外，英特爾還分享了一些數據，顯示4節點Xeon系統（包含AMX矩陣引擎）可以在不到五分鐘的時間內對圖像生成器的穩定擴散進行微調。微調是將已經訓練好的神經網路專門用於某項任務，例如，英偉達的晶片設計AI就是對現有大型語言模型NeMo的微調。
