研究人員已經使用上了由英特爾處理器驅動的超級電腦，同時運行4個有1萬億個參數的語言模型。
行業大會Supercomputing 2023近日在美國丹佛舉行，英特爾在此次活動上詳細介紹了這個裡程碑事件。研究人員用來運行四種語言模型的超級電腦是美國能源部最近安裝的Aurora系統，在宣布取得這項成就的同時，英特爾還分享了有關於即將推出的Gaudi-3和Falcon Shores人工智慧晶片的最新細節。
百億億次級的人工智慧
今年早些時候美國能源部阿貢國家實驗室安裝了Aurora系統。它是由10000多台伺服器組成的，配備了約21000個英特爾CPU和60000個GPU。一旦全面投入使用，Aurora預計將成為世界上最快的超級電腦，其性能將超過2 exaflops。
阿貢國家實驗室、英特爾和其他幾個組織已經聯手在使用該系統進行AI方面的開發工作。該計劃旨在創建具有超過一萬億個參數的生成式AI模型，以幫助加快研究項目的速度。工程師們正在使用包含文本、代碼和科學資訊的數據集來訓練這些模型。
在這次Supercomputing 2023大會上英特爾透露，Aurora僅使用10000多台伺服器中的64台就成功運行了具有1萬億個參數的AI模型。此外，研究人員設法在256個節點上同時運行4個這樣的模型。每個此類節點重70磅，包括了2個Intel Xeon Max系列CPU和不少於6個Intel Max系列GPU。
下一代AI晶片
Aurora中的Max系列GPU是基於英特爾內部開發的Xe HPC架構。英特爾還公布了第二款AI處理器Gaudi 2，它針對許多相同的用例。Gaudi 2（如圖）基於英特爾在2019年斥資20億美金收購的初創公司Habana Labs時所獲得的設計。
英特爾最終計劃將這兩個產品線合併為基於統一架構的單一晶片系列。但在此之前，英特爾會推出Gaudi 2的升級版。英特爾還在這次Supercomputing 2023的演示中分享了有關這款即將推出的晶片的最新細節。
據稱，這款晶片名稱為Gaudi 3，將採用5納米工藝製造，前身是作為單片矽實現的，而Gaudi 3則是包含了兩個獨立的小晶片。英特爾及其競爭對手都在採用基於小晶片的方法來構建處理器，因為這種方法從多個方面簡化了製造過程。
當前一代Gaudi 2的主要賣點之一是它包含了內置的以太網埠，減少了對外部網路硬體的需求，從而降低了成本。據稱，Gaudi 3的網路容量將是上一代的2倍，並且用於存儲AI模型數據的板載內存將增加1.5倍。
得益於英特爾在設計上的升級，Gaudi 3在處理bfloat16數據時預計將實現4倍於其前身的性能水平。bfloat16是由谷歌開發的一種特殊數據格式，很多AI模型使用bfloat16來存儲它們處理的資訊，該格式之所以受歡迎，是因為它可以幫助減少神經網路所需的內存量並加快處理速度。
英特爾計劃將Gaudi晶片系列與為Aurora超級電腦提供動力的Xeon Max GPU系列合併成一個名為Falcon Shores的新產品組合。Gaudi和Xeon Max GPU都將提供與該產品組合的前向兼容性，意味著為這兩個晶片系列編寫的AI模型也將運行在Falcon Shores晶片上。
英特爾這次詳細介紹稱，Falcon Shores晶片將採用HBM3內存，這是許多AI處理器中包含的高速RAM最新版本。HBM3比上一代硬體更快且功耗更低。Falcon Shores產品還將支持oneAPI，這項英特爾的技術有望減少編寫AI應用的工作量。
更快的CPU
英特爾在這次Supercomputing 2023大會上的第三個焦點，是即將推出的Emerald Rapids伺服器CPU系列。該晶片系列定於下個月推出，是基於英特爾的10納米工藝。英特爾發布的新性能數據表明，Emerald Rapids比上一代晶片在速度上有顯著改進。
這款Emerald Rapids產品組合中最先進的CPU將提供64個核心。與英特爾最快的上一代56核晶片相比，這款新CPU運行AI語音識別類應用的速度提高了40%。同時，它在使用LAMMPS基準測試中也展示了類似的速度優勢（該基準測試主要衡量晶片執行計算化學任務的速度）。
