從軟體下手，使AI晶片更有效率內存也是破口之一
目前亞洲創業公司正努力證明會提供比AI晶片巨頭NVIDIA更好的解決方案，因為目前GPU設計上較為笨重，也相當能耗，這兩點將成為創業公司的突破口。
AI晶片主要分為「推理」與「訓練」，前者是使AI模型產生預測或結論，後者是開發新AI模型要能做出準確推理的過程。例如，OpenAI需要訓練晶片開發聊天機器人ChatGPT的新模型，但要讓ChatGPT回答問題就需要推理晶片。
日本AI獨角獸Preferred Networks（PFN）首席執行官Toru Nishikawa接受日經採訪時表示，「沒有人想出完美的推理晶片架構。我認為這個領域架構將有很大的變化，誰以最低價格提供適合的架構，誰就贏」。PFN開發訓練晶片的同時，也將推理晶片市場視為測試產品能效的機會。
目前NVIDIA之所以成功，主要來自「訓練」蓬勃發展，其GPU能處理AI模型開發所需的大量並行計算，但因為GPU太昂貴、體積大，不適合導入筆記本和可穿戴設備。
NVIDIA用於數據中心的AI晶片，每顆價格為2.5萬到4萬美元，是傳統產品7到8倍。Nishikawa認為，如果推理晶片成本與訓練晶片相同，這種商業模式很難維持下去，必須開發能在PC運行的AI晶片。
Omdia顧問總監Kazuhiro Sugiyama預期，未來「設備上AI」需求將增加，潛在市場包括PC、智慧型手機、監控攝影機和無人機，都鼓勵創業公司加入戰局。NVIDIA產品首要問題是價格，一個NVIDIA晶片要花費2.5萬美元，對想投資AI的公司是負擔。
目前有機會挑戰NVIDIA的創業公司，包括軟銀願景基金支持的美國公司SambaNova Systems、前英特爾工程師創立的Tenstorrent，以及軟銀近期收購的英國公司Graphcore。此外，大型科技公司如Google、微軟、Meta、亞馬遜也加入其中，還有NVIDIA競爭對手AMD。
PFN及合作夥伴目標是在2027年3月前開發下一代AI加速器晶片。PFN晶片設計主管、神戶大學教授Junichiro Makino指出，目標是使新晶片比B200晶片組更強大和省電，公司打算從軟體下手，因為軟體類似晶片內部的「大腦」，決定如何有效處理特定任務，並將數據與運算分給各核心，使每個核心更專注在處理任務相關數據。
此外，部分創業公司認為NVIDIA為了提升晶片性能，採用增加核心與內存的做法，如同「用蠻力砸問題」，好比汽車想加速時，是選擇將引擎做更大，這反而捨棄掉了效率。
整體來說，NVIDIA也正在製造量身打造的AI晶片，但主要策略仍是調整軟體平台，以符合AI或自動駕駛汽車等特定應用，整體架構策略沒太大改變。Omdia的Sugiyama直言，「NVIDIA不太可能將架構改成與GPU完全不同的東西，他們永遠製造同類型晶片，這也是具有經濟效益的原因」。
業界人士透露，NVIDIA還採用更多用途的設計方法，優先考慮可運行多種頂尖AI的晶片。創業公司可將設計重點放在特定應用上，以尋找新競爭空間。
日本AI晶片創業公司Edgecortix正試圖解決「內存牆」（memory wall）問題。雖然GPU擅長運算龐大的矩陣集，但沒有長時間的內存，因此運算時會訪問內存晶片，記錄結果或回想下一個任務。
當必須進入內存並返回次數越多，功耗和延誤就作為昂貴的代價，也使晶片需要耗費額外電力來補償，導致設計笨重且能源效率較低。也因此，Edgecortix設計的晶片能以更精簡方式處理數據，降低晶片需要訪問內存的次數，當處理、運算勝過一般GPU，公司就不需要功能強大又昂貴的HBM晶片。
Edgecortix首席執行官Sakyasingha Dasgupta指出，日本的「晶片復興」也改變對公司有利的環境，台積電赴日設廠將有助於培育當地的晶片設計生態系統，「即使從地緣政治角度看，亞太地區目前也處於非常關鍵的位置，這是優勢之一」；PFN的Nishikawa則認為日本晶片封裝解決方案具有競爭力。
（首圖來源：pixabay）
