2025年10月，IBM與PyTorch基金會公布了2026年深化Spyre
支持的計劃：將該加速器打造為PyTorch的一級後端，並支持多加速器調度。最新的軟體生態系統更新正在兌現這一承諾。torch-spyre、Spyre的vLLM插件、編譯器改進以及持續集成工作共同發力，使得將熟悉的模型和工作流程遷移到不同類型的AI硬體上變得更加容易。
AI正越來越多地嵌入到處理交易、檢測欺詐、分析理賠以及輔助員工工作的系統中。隨著這種應用的不斷增長，AI硬體生態系統也在擴展。GPU依然是現代AI的核心，但越來越多具有不同架構、執行模型和性能特徵的加速器正在加入其中。為開發者提供更多選擇，不僅需要製造新晶片，軟體生態系統還必須讓新加速器變得可用，而不強迫開發者放棄熟悉的模型、工具和工作流程。
Spyre是IBM專為推理優化的數據流AI加速器，專為在IBM Z、LinuxONE和Power系統上與應用程式及數據協同運行AI的企業團隊而設計。其低精度計算非常適合語言生成和嵌入模型中大量的矩陣運算工作。與傳統GPU不同——GPU以指令流的形式在調度好的線程組上執行核心——Spyre在數據到達其計算引擎時即觸發計算。PyTorch提供了通用層，使這種不同的架構能夠融入目前主要圍繞GPU構建的生態系統。
將PyTorch擴展到GPU之外
這項工作的核心是torch-spyre，這是一個PyTorch後端，可將普通的PyTorch代碼編譯為適用於Spyre的可執行計劃。模型的大部分邏輯可以原樣通過PyTorch編譯器處理。當模型中包含底層軟體棧尚無法有效降級處理的操作時，適配器可以用數學上等價的形式替換該操作，使編譯器能夠處理。模型的計算邏輯保持不變，但其實現方式變得與加速器兼容。
轉向PyTorch的Inductor後端還減少了團隊需要維護的自定義編譯器代碼量。由此產生的編譯器比之前的系統小約七倍，且每個函數的複雜度明顯降低。這種更小的代碼規模使得將上游PyTorch的改進引入torch-spyre變得更加容易，也讓團隊能夠將精力集中在Spyre特有的關鍵工作上。
同樣的原則也適用於設備邊界處的優化。在最近的一次演示中，將圖構建工作從數據傳輸路徑中移除，使Granite 3.3 8B模型在批量大小為1、序列長度為1024的情況下，預填充性能提升了9.9%，解碼性能提升了13.6%。進一步將該工作從計算調度中移除後，總體提升達到預填充速度提升1.7倍、解碼速度提升2.4倍，其中約四分之三的增益來自計算路徑的優化。
保持vLLM的可移植性
Spyre是一種「樹外」加速器，而非AI軟體最常支持的GPU平台之一。Spyre依靠TorchDynamo來追蹤模型圖，並依靠TorchInductor將該圖降級為針對目標硬體優化的表示形式。在vLLM中，諸如CustomOp和PluggableLayer這樣的擴展機制，使硬體插件能夠自定義行為，而無需重新實現大部分軟體棧。
隨著vLLM的發展，保留這些擴展點變得愈加重要。一些新的模型實現正變得越來越針對特定模型和前沿GPU硬體進行專門優化。為了在這種優化工作的同時保持可移植性，vLLM社區正在開發與硬體無關的層，這些層獨立於硬體特定路徑，並設計為可編譯、可擴展，且能夠跨加速器平台移植。初步支持已在vLLM中實現，並已通過Spyre插件在Gemma 4、Qwen3和Granite 4.2等模型上得到驗證。在NVIDIA H100 GPU上，這些硬體無關層實現的總體Token吞吐量，在三款近期模型的幾何平均值計算下，與原生實現相比差距僅為3.4%。
一套工作流程，更多硬體選擇
對於IBM Z、LinuxONE和Power11用戶而言，預期的使用體驗十分直接：從Hugging Face等生態系統獲取模型，並使用與Nvidia GPU上基本相同的PyTorch工作流程。共享的PyTorch擴展點將大部分架構差異隱藏在框架之下，從而降低了採用門檻，避免了僅能使用少量特殊打包模型權重的局限性體驗。
以一個保險理賠工作流程為例，該流程結合了用於欺詐檢測的XGBoost模型，以及在Spyre上運行的Gemma 26B模型用於法務分析。該軟體棧使開發者能夠利用熟悉的模型生態系統和框架接口來構建工作流程，同時根據具體工作需求選擇最合適的硬體。
Spyre的PyTorch集成也是其與llm-d對接的方式。llm-d在vLLM之上運行分布式推理，其設計目標是支持多種加速器類型，而非單一硬體路徑。vLLM通過PyTorch連接每種加速器：一旦某設備擁有可用的PyTorch後端，vLLM硬體插件便可將其開放出來，隨後llm-d便能將工作調度到該設備上。Spyre正是遵循這一路徑——torch-spyre提供PyTorch後端，Spyre的vLLM插件則建立在此基礎之上。因此，使Spyre成為PyTorch設備的這項工作，恰恰也是使其能夠在llm-d部署中使用的同一項工作。
讓兼容性可衡量
只有當用戶有明確證據表明模型能夠跨平台可靠運行時，廣泛的兼容性才真正具有價值。IBM研究團隊正通過端到端模型測試和持續集成來構建這樣的證據。這項工作有助於團隊及時發現上游框架變更對下游硬體支持造成的影響。
端到端模型測試至關重要，因為故障可能源於操作、形狀、布局、數值範圍以及編譯器融合行為的多種組合，而孤立的單元測試無法揭示這些問題。將真實模型與可信的CPU或GPU參考結果進行對比運行，使每個模型同時成為兼容性測試和平台強化的探針。這也讓開發者能更清楚地了解哪些模型和加速器配置組合已經經過驗證。
2026年下半年，IBM、紅帽及其在PyTorch基金會中的合作者（包括Meta和Hugging Face）推出了一系列新的軟體生態系統更新，涵蓋模型首日支持、vLLM中的硬體無關模型、持續回歸與發布測試，以及原生設備集成。一場關於前端和後端編譯器的新演示進一步闡釋了相關技術細節。這些工作共同展示了模型適配器、編譯器路徑、運行時集成、vLLM擴展以及CI/CD如何協同作用，支持Spyre成為PyTorch生態系統中的一級參與者。
通過將熟悉的工作流程、可移植的編譯器路徑、廣泛的模型支持以及透明的驗證結合起來，IBM正在幫助使硬體選擇成為一種切實可行的選項，而不再是軟體集成的負擔。
訂閱我們的Future Forward新聞通訊，及時了解最新研究動態。
訂閱我們的新聞通訊
