Nvidia可能面臨越來越大的威脅,包括AMD和英特爾,以及其最大的雲合作夥伴——AWS、微軟Azure和谷歌雲——他們正在打造自己的AI晶片以及其他自主研發的晶片。
但這家AI計算巨頭還面臨著一小群企業家和投資者的競爭,他們正在用新穎的設計技術支撐新的晶片解決方案,並大肆宣揚如何實現更快速、更高效的AI計算。
這些半導體初創公司包括專注於邊緣市場的公司,如Hailo、SiMa.ai和Untether AI,以及為AI數據中心打造晶片的公司,如d-Matrix和Groq Tenstorrent。
但這不完全是關於競爭的。一些半導體初創公司,如Enfabrica和Lightmatter,正在研究互補的晶片技術,例如可以加快AI伺服器之間的數據傳輸速度。
下面就讓我們看看2024年最熱門的這10家半導體初創公司。
Celestial AI
創始人、首席執行官:David Lazovsky
Celestial AI表示,他們的Photonic Fabric光學互連技術克服了延遲和帶寬瓶頸,為AI計算的進步鋪平了道路。
這家總部位於美國加利福尼亞州聖克拉拉的初創公司在今年3月宣布,已經完成C輪的「超額認購」融資中獲得1.75億美元資金,這一輪融資是由U.S. Innovative Technology Fund領投的,得到了其他幾家投資方的支持,包括AMD、三星、大眾集團Porsche SE。
同月,這家初創公司表示,超大規模企業——也就是全球最大的數據中心基礎設施消費方——和多家半導體公司「目前正在設計Photonic Fabric光學晶片,作為技術採用的初始階段」。
隨後在10月,Celestial AI宣布已經從矽光子學先驅Rockley Photonics手中收購了智慧財產權,這項交易包括已經發布的和正在申請的矽光子學相關專利,據Celestial AI稱,這「帶來了用於光學計算互連的矽光子學領域最強大的一個智慧財產權組合」。
D-Matrix
聯合創始人、首席執行官:Sid Sheth
D-Matrix表示,其新穎的Digital In-Memory Compute (DIMC)架構正在打破生成式AI推理工作負載的內存帶寬障礙。
這家總部位於美國加利福尼亞州聖克拉拉的初創公司得到了微軟、三星電子和愛立信風險投資部門的支持,在今年11月宣布推出了首款產品Corsair PCIe卡,該產品使用DIMC架構「加速了AI推理工作負載,相比GPU和其他替代方案,具有業界領先的實時性能、能源效率、以及成本節省」。
目前D-Matrix正在向客戶提供這款PCIe卡的樣品,將在OEM和系統集成商的支持下於明年第二季度廣泛上市。支持Corsair卡的廠商包括Supermicro、GigaIO和Liqid。
Enfabrica
首席執行官:Rochan Sankar
Enfabrica表示,正在為GPU伺服器提供業內最快的網路接口控制器晶片,其矽片是專為滿足AI數據中心的需求而全新打造的。
這家位於美國加利福尼亞州山景城的初創公司在11月宣布,已經在C輪融資中籌集1.15億美元,以幫助其加速計算結構SuperNIC晶片商業化,並表示,明年第一季度這款晶片在試點系統中推出時,將實現「突破性」的3.2 TB/s帶寬。
ACF SuperNIC支持800、400和100千兆以太網接口,以及32個網路埠和160個PCIe 通道的高基數,這讓使用兩層網路設計的伺服器集群能夠容納超過500000個GPU,從而實現「集群中所有GPU的最高橫向擴展吞吐量和最低端到端延遲」。
Etched
聯合創始人、首席執行官:Gavin Uberti
Etched表示,該公司將整個商業模式押注在所謂全球首個專門用於Transformer AI模型的晶片上。
這家總部位於美國加州舊金山的初創公司在今年6月宣布,已經從包括PayPal聯合創始人Peter Thiel、Fontinalis和Skybox Data Centers在內的眾多投資方那裡籌集了1.2億美元的資金。
Etched公司在一篇博客文章中聲稱,在基於Transformer的模型(如大型語言模型)方面,Sohu晶片將「比Nvidia下一代Blackwell B200 GPU快一個數量級且更便宜」,但無法運行任何不基於Transformer架構的模型。
Groq
創始人、首席執行官:Jonathan Ross
Groq表示,它的語言處理單元通過其雲服務和本地計算集群實現了極快的AI推理性能。
這家總部位於美國加州山景城的初創公司在今年8月宣布,已經在D輪融資中獲得了6.4億美元,估值達到28億美元,這輪融資是由BlackRock Private Equity Partners管理的基金和賬戶領投的,其他投資方包括思科和三星風險投資部門。
早在今年5月,Groq就宣布和美國解決方案提供商巨頭Carahsoft達成分銷協議,主要面向公共部門客戶。隨後在9月,Groq宣布和中東石油巨頭阿美公司的數字和技術子公司簽署了一份諒解備忘錄,「在沙烏地阿拉伯王國建立世界上最大的推理數據中心」。
Hailo
聯合創始人、首席執行官:Orr Danon
Hailo正在和Nvidia展開競爭,利用其在優化成本和功耗性能方面處於領先地位的晶片,加速邊緣的生成式AI工作負載。
這家總部位於以色列特拉維夫的初創公司在今年4月宣布,作為C輪融資的延伸,已經從投資方那裡獲得了1.2億美元,並推出了新的Hailo-10加速器晶片,該晶片可以為PC和汽車資訊娛樂系統等設備實現「以最小功耗實現最高的生成式AI性能」。
該公司還宣布了多項合作,包括與Raspberry Pi達成協議,為Raspberry Pi AI Kit提供晶片;與Adlink Technology達成協議,將Hailo-8晶片整合到一款邊緣計算平台中;以及與SolidRun達成協議,將其Hailo-15H整合到一款AI視覺應用的系統級模塊解決方案中。
Lightmatter
聯合創始人、首席執行官:Nick Harris
Lightmatter表示,正在利用3D堆疊光子晶片重塑AI基礎設施,這些晶片可以大幅提高AI集群的帶寬和性能,同時降低能耗。
這家總部位於美國加州山景城的初創公司在今年10月宣布,在D輪融資中獲得了4億美元,總估值達到44億美元,這輪融資由T. Rowe Price Associates提供諮詢的新投資者領投,谷歌風險投資部門、Fidelity Management和Research Company等投資方也參與其中。
Lightmatter表示,計劃利用這筆資金為其Passage光子晶片「在合作夥伴數據中心大規模部署」做好準備,該晶片是「首個以3D形式提供I/O的光子引擎」,有望為GPU和其他類型的處理器「騰出空間」以「支持更多內存」。
SiMa.ai
創始人、首席執行官:Krishna Rangasayee
SiMa.ai希望通過強大而高效的晶片取代Nvidia在邊緣生成AI領域的地位,SiMa.ai表示,這種晶片可以在一個「以軟體為中心」的平台上處理多種模式。
這家位於美國加利福尼亞州聖何塞的初創公司在今年9月宣布,預計將在今年年底開始向客戶推出其新的MLSoC Modalix系列晶片,該系列晶片支持卷積神經網路、Transformer、大型語言模型、大型多模式模型和其他類型的邊緣生成式AI模型。SiMa.ai還表示,這些晶片的每瓦性能是其他晶片的10倍。
SiMa.ai在今年4月份宣布已經從投資方那裡籌集了7000萬美元的資金,其中包括戴爾風險投資部門和Cadence Design Systems執行董事長Lip-Bu Tan。
今年SiMa.ai宣布了多項合作以將其晶片商業化,包括與Lanner達成協議,將其晶片集成到邊緣AI設備中;與Arrow Electronics達成歐洲、中東和非洲分銷協議;以及與Cvedia和Supermicro達成協議,提供具有AI影片分析功能的邊緣設備。
Tenstorrent
首席執行官:Jim Keller
Tenstorrent正在開闢一條AI計算晶片設計的新道路,其商業模式結合了銷售專用處理器、授權晶片技術供他人使用、以及與其他公司合作開發計算解決方案。
這家總部位於加拿大安大略省多倫多的初創公司在11月宣布,已經和韓國AI軟體公司Moreh達成戰略合作夥伴關係,在AI數據中心市場挑戰Nvidia。兩家公司正在合作開發一種解決方案,把Tenstorrent的神經處理單元與Moreh軟體結合起來,支持廣泛的AI應用,包括大型語言模型推理和訓練。
今年2月,Tenstorrent宣布與日本尖端半導體技術中心達成「多層次合作協議」,後者計劃利用Tenstorrent的RISC-V和小晶片技術為其2納米邊緣AI加速器提供支持。Tenstorrent還將成為該晶片的聯合設計合作夥伴。
除此之外,Tenstorrent今年還宣布與SingularityNET合作開發針對通用AI優化的硬體和軟體架構,推出了基於Wormhole處理器的開發套件和工作站。
Untether AI
首席執行官:Chris Walker
Untether AI表示,其新晶片為運行在邊緣和數據中心的應用提供了「全球速度最快、最節能的AI推理」性能。
這家總部位於加拿大多倫多的初創公司是由前英特爾高管Chris Walker領導的,在今年10月宣布推出了speedAI240 Slim AI推理加速器卡,並表示「最近被公認為在 [同行評審的] MLPerf推理基準上實現了全球最低的延遲和最高的吞吐量」。
今年8月Untether AI宣布與印度AI雲、模型和服務提供商Ola-Krutrim建立「多方面合作夥伴關係」,其中包括「共同開發Untether AI的下一代數據中心解決方案,這些解決方案將用於Krutrim生成式AI模型的推理部署和微調」。