Google 日前在官方部落格中公布，他們擴展了第八代 TPU（張量處理單元）產品線，新增 TPU 8tx 與 TPU 8i Max 兩套系統：前者面向安全機密推理，後者面向超大上下文窗口。今年 4 月 Google Cloud Next 上，Google 已推出面向大規模訓練的 TPU 8t 和面向實時推理的 TPU 8i；TPU 8t 的訓練性能較上一代最高提升 2.7 倍，TPU 8i 的推理性價比提升 80%。附帶一提，Google一年內推出四款 TPU 系統，這還是第一次。
Google 十餘年前為內部的語音識別與翻譯需求設計了 TPU，如今用它訓練和服務 Gemini 模型、承載智能體負載，也允許客戶把 TPU 直接部署到自有數據中心；TPU 業務已有接近 100 家客戶。Google 稱，計算規模正從以人為單位轉向以智能體為單位，企業需要能跨海量上下文窗口推理的加速器，部分強監管客戶要求專用加密能力。晶片和系統不是一回事：晶片要在晶圓上排布數十億電晶體，製造周期長達數年；系統則是把晶片周邊的計算、網路與儲存組合起來。Google 從第一代 TPU 起就採用模組化設計，數月內即可交付一套專用超算。
TPU 8tx 面向處理敏感數據的受監管企業與政府，也適合小規模訓練。數據在儲存和傳輸時加密，進入內存處理時仍須解密；Google 沿用了 TPU 8t 的矽片，為 8tx 配上第五代 AMD EPYC CPU 主機，並把安全做進硬體層，讓敏感數據與模型權重即使在使用中也保持隔離。8tx 還沿用了為實時推理打造的 Boardfly 低延遲網路，它的延遲相比 TPU 8t 最多減半，性能損失幾近為零。團隊在同一套系統上就能用私有數據微調模型、蒸餾大模型、用強化學習訓練智能體，不必在集群之間遷移敏感數據。
TPU 8i Max 用來突破內存牆。數十個智能體同時處理整個代碼庫或數小時影片時，內存頻寬會先成為瓶頸。Google 把兩顆低延遲 8i 晶片封進單個封裝，讓這套系統相對 8i 提供雙倍算力、雙倍 SRAM 和雙倍 HBM 頻寬；這套系統在原有單機架空間內裝下兩倍矽片，數據中心每平方英尺、每瓦因此能部署更多算力。
Google 上月開源了 TorchTPU，PyTorch 代碼與 Hugging Face 模型因此能原生跑在 TPU 上，vLLM、SGLang 也拿到了開箱即用的 TPU 後端。Google 同期開源了 TPU Sync，它把晶片 HBM、主機 DRAM、共享儲存與網路合成統一內存層級，毫秒級把大規模 KV cache 移出晶片，在分離式 prefill 與 decode 節點之間傳遞上下文，把 KV 傳輸延遲和首 token 時間（TTFT）降低 90% 以上。GKE dynamic slicing 也已在 Google Kubernetes Engine 上正式可用，它用光電路交換動態拼裝或切分 TPU 拓撲，讓作業啟動最多提速 5 倍、故障恢復最多提速 4.5 倍。
