從初冬的北京來到11月的波特蘭，並沒有我想像的那麼冷。
在英特爾Jones Farm會議中心，一場「熱氣騰騰」的會議正在舉行。在歷時近6個小時的技術分享後，英特爾CEO Pat Gelsinger的出現將活動推到了新的高潮。
Pat Gelsinger說，新一代的至強處理器代表了英特爾對於數據中心CPU的全新思考。「英特爾正在開發相關的技術和解決方案，助力用戶能夠在所有應用中輕鬆集成並高效地運行AI。英特爾的使命是通過精心打造的平台、安全的解決方案和對開放生態系統的支持，讓AI無處不在。」
這場會議是英特爾DCAI部門面向媒體舉行的Workshop，高管領導與技術專家系統介紹英特爾第五代至強可擴展處理器。
上次見到Pat Gelsinger還在在9月份的英特爾On技術創新大會上，當時Pat Gelsinger提到了「芯經濟」的崛起，晶片驅動的數字經濟在蓬勃發展。
01 與AI時代同頻共振
經歷了PC時代、網際網路時代的英特爾顯然並不想在這個AI時代落伍，而圍繞晶片的創新是重要抓手。
如今AI無處不在，正在革新各行各業，比如金融、健康、零售和製造業。有數據顯示，2026年全球AI市場將達到3000億美金。
英特爾公司執行副總裁、數據中心與人工智慧事業部總經理兼可編程解決方案事業部首席執行官Sandra Rivera表示，生成式AI雖然開啟了全新的想像空間，但是也帶來前所未有的數據大爆炸、能源消耗、隱私安全等挑戰。「我們正處於AI的早期階段，英特爾致力於以安全的方式讓AI更易得且容易部署。」
如何解決？英特爾認為這些會帶來Hybrid AI的崛起，我們需要從雲到端提升AI的擴展性與效率。混合AI使我們能使用邊緣、客戶端或雲中的計算資源（在任何最有意義的地方）來創建基於AI模型的無縫體驗。隨這一趨勢的發展，能夠運行這些AI模型的異構晶片變得更具戰略意義。但它還需要全行業共同努力，為客戶提供最適合其使用場景的晶片和軟體的開放性和多樣性。
而這給英特爾帶來巨大的市場機會，Hybrid AI需要異構化的晶片、開放的軟體、行業標準化API。而這些正是英特爾x86架構的典型特質。
所以，英特爾正在構建一個從雲到端的全面面向AI的平台，而在這一平台中CPU扮演了重要角色和中心位置。
英特爾致力於讓AI無處不在——從雲到網路，再到邊緣和PC，通過開放的生態系統方法來實現這一目標，該方法提供更廣泛的AI解決方案和更具成本效益的部署。這種方法使企業能夠在一個安全的混合環境中，使人工智慧更易於訪問和擴展，以滿足各種工作負載的需求。
英特爾公司副總裁兼英特爾至強產品和解決方案事業部總經理Lisa Spelman表示，客戶需求在變化，其中便是AI優先。第一波浪潮是雲，第二波浪潮是生成式AI，而且這一波浪潮從基礎模型和GPU，過渡到平衡性的模型、加速器和CPU。「無論部署位置如何，雲架構的價值都源於需要靈活性、效率、改進的服務等級協議和總體擁有成本經濟效益。所有這些都為我們現在所處的下一個顛覆性的浪潮敞開了大門。」
英特爾正通過穩健的執行力，提升產品性能、效率提升的同時，降低TCO，並進一步推動CPU在諸多模型上的部署和應用合作。
英特爾在整個軟體堆棧上的投資使開發人員能夠使用他們熟悉的AI框架、工具包和語言，這些軟體框架支持CPU、GPU、IPU和AI加速器，為開發人員提供可擴展的AI基礎設施以及系統硬體和統一軟體以提高生產力。這使得客戶和開發人員能夠專注於構建應用程序和服務，而不用擔心功能或可移植性。
02 AI時代的CPU突圍
AI時代到底我們還需要CPU嗎？
這是個問題。當NVIDIA的市值突破萬億，GPU的缺貨問題成為業界討論的熱點，人們似乎忘記了英特爾，雖然AMD還在用AI加速器來刷下存在感。
AI需求新的架構，而GPU成為首選，CPU備受詬病。毋庸置疑，GPU是AI時代的原生原則，其天然適配AI應用。
不過這並不意味著CPU無用武之地，不管是英特爾還是AMD，乃至Arm其實都在改進自己的CPU，試圖更好地運行AI應用。
英特爾數據中心至強處理器的產品經理郭洪昌表示，在異構計算的大時代背景下，CPU是一個不可或缺的推動力量，起到排頭兵作用。
青雲科技副總裁沈鷗接受至頂網獨家專訪時表示，AI時代，CPU市場面臨新的挑戰，但並不是說CPU就不再重要。高性能的CPU仍然會發揮重要的作用。比如，作為整個電腦系統的核心，CPU負責協調和管理各種任務。再如，CPU在處理文本處理、數據清洗、特徵提取和數據縮放等前期數據處理工作中發揮了重要作用，為後續數據建模和訓練提供了良好的數據基礎。CPU廠商也很早就開始為AI做功能優化，英特爾推出的Extension for Transformer創新工具包中的LLM Runtime就能為諸多模型顯著降低時延。
寶德計算IA BU產品總監劉磊也表示，在AI時代，CPU的角色定位和價值確實有了新的變化，但其在電腦系統中的核心地位不可替代。首先CPU在AI應用中不僅是電腦系統的指揮中心，負責協調各個部件的工作，同時也是各種算法和計算任務得以執行的關鍵，CPU的價值在於其作為電腦系統的中樞。同時CPU的設計和架構也在不斷演進，以適應不斷變化的應用需求和技術趨勢。雖然CPU在AI應用中計算能力相對弱勢，但它具有高度的靈活性、適應性和可編程性，這些優勢在AI應用中仍然非常重要。另外CPU在處理一些複雜任務時仍然具有不可替代的作用，例如在需要高度協調和精細化操作的任務中，成為支撐整個電腦系統運行的核心組件。
其實，英特爾至強對於AI加速功能的加載可以追溯到第三代至強可擴展處理器，其加入了英特爾深度學習加速技術（英特爾DL Boost）。
而在第四代的英特爾的至強可擴展處理器則增加了英特爾AMX，其是一種新的內置加速器，可提高CPU的深度學習訓練和推理性能。
英特爾第五代至強可擴展處理器則帶來了更多的AI功能。通過內置AI加速功能，企業不需要購買獨立的加速器，就可以處理AI工作負載。
而且最為重要的是英特爾提供了一種開放標準框架，企業可以直接使用開源預訓練AI模型。
所以說，AI時代，CPU需要重新給自己定位，從原有單一的通用計算轉向多元計算的單元。比如現在不管是英特爾還是AMD、NVIDIA都在試圖融合CPU與GPU架構。
眾所周知，歷史包袱是每一個節點產品必須面對的，比如CPU跨越了PC和網際網路，但是在AI時代，GPU成了顏值擔當，CPU如何找到新的價值點成為英特爾需要思考的。
反觀業界成功的轉型案例就是微軟，其成功從原有的軟體公司成為一家雲公司，將其成功的Windows和Office軟體變為可訂閱的軟體服務。
那對於英特爾，他能夠將自己的CPU也變成面向AI的產品呢？
03 和自己賽跑，第五代至強都有哪些改進？
從目前的市場份額看，至強處理器是數據中心市場的王者，近期英特爾也出貨了第一百萬片第四代英特爾至強可擴展處理器。
對於第五代英特爾至強可擴展處理器，業界也是充滿期待。不過在與對手交鋒之前，英特爾首先需要戰勝自己。
相比上一代產品，第五代英特爾至強可擴展處理器的特點可以概括為面向AI時代的最佳CPU、領先的性能表現、出色的TCO與能效。
與上一代產品相比，第五代至強可擴展處理器在相同TDP下平均性能提升21%，核數達到64，單核性能更高；內存帶寬提升高達16%，三級緩存容量提升2.7倍；全新的I/O技術加持，CXL、PCIe5、UPI速度提升。
構建和部署AI在至強處理器上變得唾手可得。英特爾加速引擎實現了10倍的每瓦性能表現。IBM watsonx採用至強處理器提升了2.7倍的查詢吞吐量，stability.ai採用至強處理器和Gaudi 2的AI超級電腦進入了全球TOP15。
相比上一代至強處理器，第五代至強可擴展處理器在AI推理的性能表現提升了42%，而通用計算性能提升了21%，能耗提升了36%。
第五代英特爾至強可擴展處理器是英特爾更具可持續發展能力的數據中心處理器，藉助可提升每瓦性能的內置加速器和能效管理功能來減少碳足跡和TCO。
可持續發展不僅事關社會責任，也會對企業的成本結構造成影響。更高的單核性能可以降低能耗和所需伺服器數量，滿足性能要求的同時降低TCO。高效節能的第五代至強可擴展處理器可以實現77%的TCO降低，相比上一代1.34倍的能效比提升，Idle閒置時候可以節約100W能耗。
此外，在安全性方面，第五代至強可擴展處理器支持英特爾SGX和英特爾TDX，基於可信執行環境（TEE）的機密計算能夠幫助保護數據和AI模型。
總的看來，第五代英特爾至強可擴展處理器依然保持了一貫的產品疊代節奏，在功能特性、性能表現等方面相比上一代實現了提升。
04 與對手PK，第五代至強都有哪些突破？
CPU是英特爾的既有賽道，但是這條賽道正在迎來強勢玩家，比如AMD和NVIDIA。這是頭部企業的宿命，因為作為TOP One，你會成為被追趕的目標。但是對於處於TOP ONE的英特爾來說，卻走入了無人區，這對企業的創新能力提出更高的要求。
在過去的一兩年內，AMD在數據中心的表現令業界刮目相看。根據市場研究機構MercuryResearch最新公布的數據，AMD在2023年三季度在伺服器CPU市場取得了顯著的收入和份額增長，將其市場份額從之前的17.5%提高到了29.4%。這要歸功於第四代EPYC處理器，使得AMD在數據中心市場的表現十分搶眼。
而NVIDIA也推出了融合CPU和GPU的產品——GH200 Grace Hopper超級晶片，將英偉達的Grace CPU與H100 GPU集成在一起，通過超高的帶寬連接，從而比單個H100配合其他的CPU能提供更強的性能表現。
這些給英特爾的巨大的壓力，英特爾至強處理器需要拿出真正的本領來保住自己的地盤不被蠶食。
在通用計算方面，英特爾在工作負載方面保持了已有的表現。在AI方面，除了GPU，CPU現在還在面臨FPGA、AI加速器等異構晶片的「圍追堵截」，英特爾也在為至強注入更多的AI能力。
英特爾自身技術專家Allen Chu告訴記者，將AI工作負載進行分解時，CPU非常適合基礎推理。當需要專用加速時，GPU非常適合。但具體是採用CPU還是GPU，要根據具體使用情況來判斷。「當客戶看到至強處理器一代又一代的性能提升時，他們總會需要思考是否更新自己的CPU設備。儘管現在很多人都在購買GPU，但CPU需要處理的工作負載並沒有消失。GPU將繼續為人工智慧中一些最高且不斷增長的工作負載提供服務，而對於在CPU上運行的大量人工智慧，我們也正在為其提供領先的技術和創新，以使其持續應用CPU並取得傲人的成績，同時CPU也將持續為驅動和運行數據中心的廣泛工作負載。」
當前，面對AI的計算需求，x86架構的通用處理器通過內置AI能力是一種比較理想的選擇。為什麼這麼說？
因為x86架構具有成熟的市場應用和廣泛的用戶，比較理想的情況是如果x86的CPU能夠很好地運行AI應用，那麼對於用戶來說將是巨大的利好。
測試數據顯示，與第四代AMD EPYC處理器相比，第五代英特爾至強可擴展處理器的AI推理性能提升高達2.7倍。
在性能表現方面，與第四代AMD EPYC處理器相比，第五代英特爾至強可擴展處理器啟用內置加速器時可將每瓦性能提升3倍。
與NVIDIA GPU相比，英特爾至強處理器處理的AI任務更全面廣泛，涉及從數據預處理到推理整個AI管線。
除了硬體級創新產品，英特爾在軟體堆棧工具方面也持續投入，比如oneAPI和OpenVINO、Pytorch、TensorFlow和DeepSpeed，為開發人員提供了使用硬體架構的開放性和可選擇性。
「英特爾與開放的生態系統合作擴展技術方面久經考驗，通過對開發者生態系統、工具、技術和開放平台的長期投入，使客戶能夠在其基礎設施中已有的通用處理器上面輕鬆部署AI。」Sandra Rivera說。
05 對標H100，Gaudi 2會是最佳選擇嗎？
目前以GPU為主導的AI架構超越了原有的x86的雲架構。對於英特爾來說，NVIDIA是其前行路上不可迴避的對手。
儘管英特爾至強可擴展處理器可以運行諸多AI工作負載，但為了支持更大的模型規模和滿足廣泛的系統需求，需要採用異構計算的方法，使用不同的計算架構。
除了CPU，英特爾在GPU、AI加速器等XPU方面展開多樣化布局。Gaudi 2也許會成為英特爾挑戰NVIDIA的重要砝碼。
Gaudi 2定位為深度學習加速器，所以其可以更好地運行大語言模型應用，比如GPT-3模型、Stable Diffusion、BLOOMz。這得益於其內置可編程Tensor處理器核心（TPCs）、HBM2E內存等。
生成式AI和LLM的計算需求需要大規模的擴展，Gaudi 2深度學習加速器每張晶片集成了21個專用於內部互聯的100Gbps（RoCEv2 RDMA）以太網接口，從而實現低延遲伺服器內擴展。
在MLCommons公布的MLPerf訓練3.0結果顯示，Gaudi 2處理器在1750億參數的GPT-3模型上，從256個加速器到384個加速器可實現接近線性的95%擴展效果。
而MLPerf推理v3.1性能基準測試結果顯示，Gaudi 2在GPT-J-99和GPT-J-99.9 上的伺服器查詢和離線樣本的推理性能分別為78.58 次/秒和84.08 次/秒。
H100相對於Gaudi 2僅表現出1.09倍（伺服器）和1.28倍（離線）的輕微性能優勢。
Gaudi 2擁有高於英偉達A100 2.4倍（伺服器）、 2倍（離線）的性能。
Gaudi 2提交的結果採用FP8數據類型，並在這種新數據類型上達到了99.9%的準確率。
這一系列的測試成績代表了Gaudi 2的巨大市場潛力。所以，英特爾內部也對Gaudi 2非常重視，Intel Lab使用Gaudi 2構建了Bridge Tower和LDM3D應用
相比於第一代Gaudi處理器，Gaudi 2製程工藝從16納米提升至7納米、Tensor處理器核心數量增加了三倍、增加GEMM引擎算力、封裝的高帶寬存儲容量提升了三倍、SRAM帶寬提升以及容量增加一倍。對於視覺處理模型的訓練，Gaudi2處理器集成了媒體處理引擎，能夠獨立完成包括AI訓練所需的數據增強和壓縮圖像的預處理。
令人激動人心的是2024年，Gaudi 3即將到來，這也將極具看點，其將採用5nm工藝製程，1.5倍的HBM帶寬、2倍的網路帶寬，以及4倍的BF16計算性能。而且Gaudi 3也會支持液冷選項，帶來更加環境友好的AI基礎設施。
在英特爾公布至強與Gaudi產品更新的同時，AMD發布了MI300系列加速晶片，包括大型GPU MI300X，還有集成CPU與GPU的MI300A。看來，Gaudi不要光對標H100，還需要面臨AMD的壓力。
英特爾、AMD、NVIDIA在AI加速晶片方面的你追我趕對於客戶和市場是好事，畢竟我們也多了一份選擇。
06 AI的有一選擇——FPGA
高性能與低功耗如何兼顧？比如邊緣計算和雲的結合，更低的時延和更高效的功耗、性能成為剛需，特別是在AI的擴展性方面。FPGA在數據處理方面可以針對AI來進行預先的部署，可以在任何的新型神經網路上進行快速部署，滿足小批量、實時的AI技術運用。
英特爾可編程解決方案事業部（PSG）能夠提供豐富的產品組合，滿足業界對於FPGA的期待。值得一提的是英特爾官方宣布，將其可編程解決方案事業部（PSG）業務拆分為獨立業務，2024年1月1日開始獨立運營，未來2-3年將獨立IPO。而Sandra Rivera將擔任CEO。
2023年，英特爾計劃發布15款FPGA新品，截至目前，已經推出共計11款產品，這一數量超出了英特爾歷年來發布的FPGA產品總數。
面對AI應用場景在雲端、網路和邊緣等領域的高速增長，英特爾通過全棧的FPGA產品為從邊緣到雲提供基於FPGA的AI可擴展性，並以較低的總體擁有成本（TCO），充分釋放AI潛能。
例如英特爾Agilex 5 FPGA系列：採用第二代英特爾Hyperflex FPGA架構和英特爾7製程工藝，對電晶體的每瓦性能進行了優化，從而實現出色的能耗。同時採用英特爾上一代高端產品中嵌入的業界首個針對AI優化的模塊，並將其擴展至Agilex 5 FPGA的中端產品中，為邊緣AI應用提供了理想選擇。
07 夥伴有話說
對於英特爾而言，強調的生態系統是其能夠笑傲江湖的關鍵。
就像PC時代的Wintel，AI時代英特爾的生態能不能打開新的局面變得至關重要。
從ODM、OEM、CSP、SI到ISV，英特爾的生態鏈異常龐大。而且英特爾生態的一大特色是開放性。這種開放性在筆者看來非常重要，唯有開放，你才能聚集夥伴。
英特爾在中國的戰略是「在中國，為中國」，與中國生態合作夥伴進行全方面的合作。這一生態鏈條也非常廣泛，比如OEM廠商、網際網路用戶、IDC等。
英特爾的願景是構建一個開放的解決方案生態系統以消除供應商局限，並基於行業標準協議，聯合生態夥伴共同提供在成本、功耗、系統集成及開放軟體方面具有差異化的完整解決方案。
英特爾數據中心與人工智慧集團兼副總裁兼中國區總經理陳陳葆立說，現在產品疊代非常快，在每次新產品發布之前，英特爾會提前一年甚至是一年半的時間介入和中國的合作夥伴合作，讓他們知道英特爾的技術方向，他們也能夠在自己的產品上做出及早的投入和驗證。
例如英特爾與網際網路客戶開展了緊密合作，比如美團採用英特爾第四代至強可擴展處理器進行包括目標識別（Object recognition）或者是電腦視覺（Computer vision）等AI推理工作負載，取得了不錯的成績。其他的網際網路公司包括字節、阿里等亦是如此。比如京東雲、阿里雲等都實現了AIGC的應用加速；東軟、用友、金蝶等企業應用引入NLP、OCR等功能，而英特爾與他們合作一起加速應用運行。
陳葆立表示，英特爾與網際網路公司的合作成果能否推廣到其他行業也是英特爾努力的方向。「AI的算力不是單維度而是多維度的，競爭沒有結束。我們一直在思考、創新更好的產品，幫助用戶在未來構建更好的推理或是訓練的數據中心集群。」
每次英特爾新品的發布都會迎來夥伴的強力站台，這次第五代第五代英特爾至強可擴展處理器的發布也是如此。
伴隨新一代至強處理器的發布，浪潮資訊G7算力平台創新升級，多款G7單路和雙路伺服器支持英特爾最新發布的第五代至強處理器。浪潮資訊伺服器產品線總經理趙帥表示：「能效提升和綠色低碳是計算力發展的主旋律，算力的釋放需要算力平台的高效設計，浪潮資訊伺服器採用以整機系統設計為核心的設計原則，針對用戶的具體應用場景對計算力、存儲空間、可擴展性的不同要求，有效結合平台化和模塊化策略，讓每一款產品都能高效地隨需所變和釋放最大能效，助力企業迎接智慧時代。」
青雲科技一直和英特爾保持著良好的合作關係，也推出了一些軟硬結合的最佳實踐。比如青雲AI算力服務平台跟英特爾9系列做適配，在推理場景得到了很好的應用。
沈鷗表示，第五代至強提高了計算性能和能效比，使雲服務更加高效、靈活且可擴展，有助於有助於雲廠商提高資源利用率，降低運營成本。同時還帶來了更強大的數據和AI處理能力，有助於雲廠商更好地滿足客戶需求。
劉磊說，第五代至強處理器顯著提升了處理器的性能和能效，為不同領域的應用提供了更好的支持。「我們對第五代至強處理器的功能更充滿期待，希望它能夠繼續引領高性能計算和數據中心領域的發展，為用戶帶來更好的性能、更高效的使用體驗和更安全的保障。」
作為英特爾在國內最重要的戰略合作夥伴，寶德繼續發揮在伺服器板卡到整機系統的自主研發優勢，在技術研發、生態建設、市場推廣等多個方面與英特爾展開深入合作，共同探索新一代至強CPU的應用場景和最佳實踐，提升數據處理和計算效率。
目前，超過20家OEM/ODM廠商推出了基於第五代至強可擴展處理器的產品，超過7家的雲計算廠商推出了相關實例。
08 AI無處不在
在英特爾On技術創新大會上，英特爾提出了Binging AI Everywhere的口號，從硬體到軟體，全面擁抱AI。
GenAI（生成式AI）和LLM（大預言模型）需要深度學習性能、靈活性和開發者友好。
所以我們這次看到不管是第五代英特爾至強可擴展處理器還是Gaudi加速器、FPGA都是這種策略的產品體現。
在Pat Gelsinger擔任英特爾CEO後，英特爾開始了大刀闊斧的革新，也就是IDM 2.0。
但是AI時代，NVIDIA成了新的引領者，AMD也在奮力直追。英特爾需要重新引領產業風向。
技術創新是半導體產業的底色，在「四年五個製程節點」的策略下，伴隨著第五代英特爾至強可擴展處理器的發布，英特爾也進入了密集的產品發布周期：
具備高能效的能效核（E-core）處理器Sierra Forest將於2024年上半年上市。
緊隨Sierra Forest發布的是具備高性能的性能核（P-core）處理器Granite Rapids。
展望2025年，代號為Clearwater Forest的下一代至強能效核處理器將基於Intel 18A製程節點製造。
在這一系列的宏偉產品發布路線圖下，英特爾能否再次引領產業發展，我們拭目以待。
