對AI模型運行所需算力的強勁需求持續攀升，但任何入局者都必須跨越兩大障礙：獲取合適的晶片，以及將晶片部署進數據中心並開始創造收益。
General Compute是一家新興的推理雲服務商，專注於AI模型完成訓練後的推理階段——即模型實時運行並響應用戶請求的環節。這家公司針對上述兩大問題給出了自己的答案，也由此揭示了AI生態系統的未來走向。憑藉這些答案，General Compute完成了一輪1500萬美元的種子輪融資，投後估值達6000萬美元，由FUSE VC領投，Carya Venture Partners和Village Global Ventures參投。
那麼，什麼才是合適的晶片？GPU的需求量已急劇攀升，但業界越來越形成共識：GPU並非運行AI模型的最佳選擇。AI模型在推理階段——即主動生成響應的過程——所需的算力結構與訓練階段存在本質差異，專為推理設計的新一代晶片正在興起。英偉達
去年12月斥資200億美元收購Groq，以及Cerebras上周完成的570億美元IPO，都印證了這一趨勢。
在Groq和Cerebras產能均趨於緊張的背景下，General Compute聯合創始人、CEO Finn Puklowski與CTO Jason Goodison找到了另一條路——採用SambaNova的專用晶片。SambaNova是一家專注於推理晶片的英特爾系企業，近年來在矽谷的聲量有所減弱。
但隨著SambaNova今年推出新一代晶片，這一局面或將改變。新架構靈活性更強，在推理計算過程中採用更大容量內儲存存上下文，SambaNova聲稱其性能不僅超越GPU，更優於Groq、Cerebras等公司的同類專用晶片。Puklowski透露，新晶片的Token生成速度可達每秒600至700個，而GPU約為每秒250個。
General Compute已訂購價值3億美元的SambaNova SN50晶片，並稱將成為首家部署該晶片的雲服務商。
這款晶片還順帶解決了第二大難題——部署場所問題。SN50採用風冷而非水冷設計，功耗更低，可直接安裝於現有數據中心設施，無需新增基礎設施投入。
Puklowski正在積極拓展託管合作協議，這種模式下General Compute將自有硬體部署於合作方的場地。合作對象不僅限於數據中心運營商，還包括加密貨幣礦工——由於比特幣生產成本長期高於幣價，這些礦工正尋求將現有基礎設施轉型再利用。
General Compute已於上周正式推出雲服務，並宣稱目前在運行強大開源大語言模型MiniMax 2.7方面速度最快。
風險投資人Joe Hassleman早在2021年便投資了Groq，踏上了推理算力浪潮的早班車。今年，他設立了專注AI領域的新基金Evercrest Partners，並將General Compute作為首個投資標的。在他看來，SambaNova與General Compute的合作關係，與Coreweave和英偉達的深度綁定如出一轍，也頗似Groq在晶片製造與其前雲服務之間的協同模式。
"他們確實需要找到一批優質客戶，把晶片部署進高速增長的應用環境中，"Hassleman說，"General Compute在押注SambaNova，而SambaNova同樣在押注General Compute，雙方是相互賭注的關係。"
真正的核心問題在於：在AI的未來圖景中，哪種計算架構將成為最大的價值收割者？推理雲服務的崛起，本質上是對一個多模型、多智能體共存世界的隱性押注——在那個世界裡，沒有任何單一供應商能夠一統天下，推理的速度與成本將成為核心競爭變量。本周OpenRouter完成的1.13億美元B輪融資正是佐證——該公司能夠為客戶提供多模型接入，幫助優化Token使用成本。
在這套邏輯中，速度至關重要，直接影響價格與能力表現。Puklowski希望將編程智能體原本需要一小時完成的任務壓縮至五到十分鐘，同時讓用於客服場景的語音智能體——其對話流暢度高度依賴推理速度——變得更加經濟實惠。"如果ChatGPT能給你每秒50個Token的輸出速度，已經遠超人類的閱讀速度了，"Puklowski對TechCrunch說，"但現在的場景已經演進到智能體之間的互動，智能體要替我們讀取資訊、查詢資料庫，它們需要更快。"
Q&A
Q1：General Compute是一家什麼樣的公司？它主要做什麼業務？
A：General Compute是一家專注於AI推理階段的新興雲服務商，提供AI算力租賃服務。與訓練階段不同，推理階段是指模型完成訓練後實時響應用戶請求的過程。該公司採用SambaNova的專用推理晶片，主打高速、低成本的推理雲服務，目前已上線雲服務平台，並宣稱是運行開源大語言模型MiniMax 2.7速度最快的服務商。
Q2：SambaNova晶片相比GPU和其他專用晶片有哪些優勢？
A：SambaNova新一代晶片在推理場景下具備多項優勢：Token生成速度可達每秒600至700個，是GPU（約250個/秒）的兩倍以上；架構更靈活，推理計算時上下文儲存內存更大；採用風冷設計、功耗更低，無需改造現有數據中心即可部署，大幅降低基礎設施成本。SambaNova聲稱其性能超越GPU，以及Groq、Cerebras等同類專用晶片。
Q3：推理雲服務為什麼越來越受到資本關注？
A：隨著AI應用從單一模型響應向多智能體協作演進，推理速度和成本成為關鍵競爭變量。智能體之間需要高速交互、實時讀取數據，對推理性能要求遠超人類交互場景。資本正在押注一個多模型共存、無單一供應商主導的AI生態——在這個生態中，推理雲服務商有望占據重要價值節點。Groq、Cerebras的高估值，以及OpenRouter本周完成的1.13億美元融資，均印證了市場對這一賽道的高度認可。
