半導體創新企業Cerebras宣布,推出第三代晶片級晶片WSE-3,以相同功耗比較,比上代WSE-2晶片性能翻倍增長。
Cerebras指WSE-3采台積電5納米,容納4億個電晶體於單一晶片,並90萬個AI運算核心。44GB暫存內存,可搭配1.5TB/12TB/1.2PB外置存儲方案,最高125PFLOPS AI算力。
WSE-3的CS-3系統憑最高1.2PB外置內存,可訓練比GPT-4和Gemini大十倍的下代人工智慧模型,單邏輯內存空間容納24,000T的參數規模模型,大大簡化開發人員工作。
CS-3也適合超大規模AI運算需求,四系統集群架構可一天內微調70B模型,最大規模2,048個CS-3系統集群時,一天內可訓練Llama 70B模型。
Cerebras CS-3系統有卓越易用性,大模型訓練代碼較GPU減少97%,僅需565行代碼就可完成GPT-3模型標準。阿拉伯聯合大公國G42財團表示將打造Cerebras CS-3組成的Condor Galaxy 3超級電腦,含64個系統,可提供8exaFLOP的AI算力。
(首圖來源:Cerebras)