做晶片很難，第一代產品就做到有競爭力更難。OpenAI 這次交出的答案，至少在大模型推理這件事上，已經足夠誇張。
今天，OpenAI 正式公布了其首款定製推理晶片 Jalapeño
（墨西哥辣椒）的首批實測性能數據。
（墨西哥辣椒）的首批實測性能數據。
在基於自己開源模型 GPT-OSS 120B 的公開基準測試 InferenceX 上，Jalapeño 的每千瓦峰值吞吐量和 Token 延遲都比現有的硬體系統表現要好。
的公開基準測試 InferenceX 上，Jalapeño 的每千瓦峰值吞吐量和 Token 延遲都比現有的硬體系統表現要好。要知道，對大多數晶片來說，吞吐和延遲往往是一道只能二選一的難題。而除了針對 OpenAI 的大模型優化明顯，晶片在 670B 的 DeepSeek R1 和 1T 的 Kimi K2.5 上表現也更出色，對手都是英偉達 GB200/GB300 等市面上最強的商用 AI 系統。
和 1T 的 Kimi K2.5 上表現也更出色，對手都是英偉達 GB200/GB300 等市面上最強的商用 AI 系統。奧特曼在 X 上毫不客氣地評價：「我們造了一顆晶片，快得離譜。」
知名科技 Newsletter SemiAnalysis 創始人 Dylan Patel 更給了極高的評價，「第一代晶片通常毫無競爭力，但 OpenAI 正在打敗英偉達 Blackwell，甚至 Rubin。」
更給了極高的評價，「第一代晶片通常毫無競爭力，但 OpenAI 正在打敗英偉達 Blackwell，甚至 Rubin。」更巧的是，OpenAI 並不是這幾天唯一一家談晶片的公司。
小米剛剛一口氣公布三顆自研晶片，蘋果昨天發布首顆 2nm M6，接下來一個月，高通、聯發科、蘋果和華為的新一代旗艦晶片還會繼續扎堆登場。
從數據中心到手機，AI 晶片正在成為所有科技巨頭共同爭奪的一塊地盤。
一份近乎「不講理」的成績單
先看 Jalapeño 的數據，OpenAI 這次採用 InferenceX 測試，統一設置為 8K 輸入、1K 輸出，使用標準單 token 預測，沒有開啟推測解碼。對照系統包括英偉達 GB200 和 GB300。
。對照系統包括英偉達 GB200 和 GB300。OpenAI 將 DeepSeek R1 與 Kimi K2.5 標為 MXFP4，在 GPT-OSS 120B、DeepSeek R1 670B 和 Kimi K2.5 1T 三個模型上的結果顯示：
，在 GPT-OSS 120B、DeepSeek R1 670B 和 Kimi K2.5 1T 三個模型上的結果顯示：峰值吞吐量，每瓦的 AI 工作量是對比系統的 1.5 到 1.9 倍，
端到端延遲降低了 1.7 到 3.6 倍，
對於高交互性工作負載，其性能更是提升了 2.1 到 4.1 倍。
在最極端的對比項里，差距被拉得相當大，GB200 此前最佳的單用戶速度，但 Jalapeño 的 TDP 只有 700W，Rubin 是 900～1150W。
再看設計邏輯。要理解 Jalapeño，得先知道大模型推理其實是兩種完全不同的活：處理 prompt 的 prefill 階段吃算力，逐字生成回答的 decode 階段吃顯存頻寬，而數據在核心間、晶片間搬來搬去的通信開銷則在兩邊拖後腿。
多數系統擅長其中一種，卻會在等待數據時把優勢浪費掉。
Jalapeño 的核心思路，是儘可能讓數據待在原地，減少搬運。
晶片的核心和 HBM 都被切成一一對應的切片，每個核心切片對自己那片 HBM 擁有低延遲的本地視圖；KV cache 和模型權重被顯式地安置在原地，生成過程中不再挪窩。
切片之間需要同步時，可以走一條專用的高頻寬集合通信網路，通用通信則交給另一張簡化的 NoC。對比 GPU 裡層層穿越的複雜內存體系，這套「極簡內存層級」省掉了大量的延遲和功耗。
這套方法論可以總結成兩步：硬體負責把理論上限拉到最高，AI 負責找到逼近上限的寫法。
結果是它在各種批量、各種形狀下都更接近硬體的屋頂線（roofline），尤其是 GPU 最不擅長的小批量、低延遲場景，而這些又恰好是 agentic 工作負載最在意的地方。
系統層面同樣貫徹這個思路，OpenAI 沒有採用目前熱門的優化路線：PD 分離（prefill 和 decode 分池部署），理由是真實流量里輸入輸出的比例全天都在漂移，固定分池必然一邊閒置一邊排隊，KV cache 跨池搬運還會平添功耗和延遲。
統一池子裡，128 顆晶片組成一個機架（CPU 托盤叫 Katsu、ASIC 托盤叫 Vindaloo、交換托盤叫 Chana，都是一串咖喱菜名），16 個機架再用銅纜加光交換織成 2048 顆晶片的單一 scale-up 域。
整個請求從進來到出去，數據都不需要使用 PD 分離的轉移。
真正的秘密武器是：用 AI 造晶片
如果 Jalapeño 的故事只到這裡，它仍然只是一顆性能很強的 ASIC 推理晶片。
真正讓這件事有點反常識的，是 OpenAI 連「怎麼造晶片」這件事本身，也開始交給 AI 加速。
Jalapeño 項目 2024 年年中才啟動，2025 年 11 月流片，前後約 16 個月；流片後 9 個月、點亮僅 3 個月就交出了上述成績。
OpenAI 提到 AI 深度參與了設計：探索實現方案、縮短驗證循環、優化算術電路，SIMD 單元面積縮小 8%、矩陣引擎縮小 10% 都有 AI 的功勞。部分 AI 生成的核心實現比人類專家手寫版本快 1.5～1.8 倍。
過去幾十年，晶片研發一直擁有極高的專業門檻。一套新架構從設計、驗證、流片，到建立編譯器、核心庫和完整的軟體生態，通常都需要大量經驗豐富的工程師和漫長的疊代周期。
CUDA 最堅固的護城河，也恰恰來自這裡。就像英偉達真正難被複製的部分，除了 GPU 本身，還有圍繞 GPU 積累了十幾年的工具鏈、Kernel、開發者和工程經驗。
但 Jalapeño 這次 AI 造晶片的經驗，展示了另一種可能。硬體工程師可以讓模型輔助設計和驗證；一顆晶片點亮之後，Codex 又可以幫助工程師寫 Kernel、適配新模型，甚至把一個完全沒有準備過的模型在幾個月內優化到高性能。
於是會出現一個很有意思的循環：用英偉達 GPU 訓練出來的 AI，正在幫助工程師設計下一顆不依賴英偉達的晶片。
SemiAnalysis 對此給出了一個非常激進的判斷：CUDA 的護城河，可能正在鬆動。
當然，只是一顆推理晶片的 Jalapeño 還遠遠不足以宣判 CUDA 的結局。但它至少證明了一件以前很難想像的事情：AI 已經開始進入生產下一代 AI 基礎設施的研發循環。
模型幫助造晶片，更好的晶片又用來運行下一代模型。
當大家都開始造芯
也正是在這個背景下，再看最近密集發生的晶片新聞，會發現它們指向的是同一個方向。
兩天，四家公司，晶片從手機、Mac 延伸到數據中心，小米的「自研晶片+OS+大模型」組合，蘋果也是全系晶片都在為 Apple Intelligence 準備好，以及做能跑前沿模型的最好本地設備。
高通、聯發科兩個手機晶片大廠，驍龍 8 Gen 6 與天璣 9600 也雙雙殺入 2nm；華為的終端與雲端路線上，麒麟 9030 和昇騰系列都將迎來更新。
還有 Anthropic，雖然還沒發布晶片，但已經確認組建內部定製晶片團隊。
8 月被彭博曝出挖來谷歌 TPU 業務前負責人 Amir Salek，這位老將帶隊交付了 Google 前七代 TPU；6 月又從 OpenAI 晶片團隊挖走二號工程師 Clive Chan，此前在特斯拉參與 Dojo 超級電腦。
OpenAI 部落格里那句「AI 的進步在整個系統一起變好時複利最快」，放在這些動作上，全部都成立。
Jalapeño 的故事，與其說是「OpenAI 造了一顆好晶片」，不如說是在驗證一條新路徑：當一個團隊同時擁有模型、軟體棧和最懂負載的場景時，白紙設計反而成了優勢——不用背負向後兼容，還可以讓 AI 同時擔任設計師和程序員。
而這個 8 月和即將到來的 9 月將證明，這條路徑也並不是 OpenAI 獨享：所有人都在把「晶片—系統—模型」的垂直整合推到前所未有的深度。
當然，OpenAI 這顆晶片目前仍處在量產驗證和軟體成熟階段，測試也沒有覆蓋真實的長上下文、多輪 Agent 工作流等，但整個的方向已經沒有懸念。
OpenAI 表示 Gen 2 已經在深入開發中，Gen 3 正在成形，今年年底 Jalapeño 將開始進入自有算力基礎設施部署，下一個目標是 100MW 規模。
晶片的定義權，正在從少數幾家晶片公司手裡，流向每一家認真對待 AI 的公司。
