亞馬遜雲科技公用計算高級副總裁Peter DeSantis今年形象大變，直接成為精神小伙。
今天re:Invent的發布毫無懸念，主要圍繞AWS Trainium3和AWS Graviton5展開，當然還有老朋友Apple（蘋果）。
AWS Trainium 3和Amazon EC2 Trn3 UltraServers在第一天就已經發布，Peter DeSantis也做了更多細節披露。
Amazon EC2 Trn3 UltraServers單機配備144塊AWS Trainium 3晶片，提供362 PFlops的FP8性能和706 TB/s帶寬。相比之下，上一代Amazon EC2 Trn2 UltraServers僅搭載64塊Trainium 2晶片，性能為83.2PFlops、6 TB HBM，以及184 TB/s帶寬。
展區也展示了1U的Amazon EC2 Trn3 UltraServers計算節點，其中搭載了4塊AWS Trainium 3晶片。
同時還做了非常多的微架構優化，每兆瓦生成的Token數量是Amazon EC2 Trn2 UltraServers的五倍。
通用計算同樣在加速演進，2018年發布第一款AWS Graviton，如今已經來到AWS Graviton5，其採用192核設計，並將緩存容量提升至前代的5倍，顯著縮短核心間的數據傳輸路徑，使通信延遲最高降低33%，帶寬同步提升。
同時，AWS Graviton5配備了提升5倍容量的L3緩存，每個核心可訪問的L3緩存容量達到 AWS Graviton4的2.6 倍，為高並發與內存密集型負載提供了更強的支撐。
基於AWS Graviton5的新實例Amazon EC2 M9g instances比上一代產品性能提升高達25%。
亞馬遜雲科技計算與機器學習服務副總裁Dave Brown展示了一些早期用戶的使用數據：airbnb最高可提升25%性能；Atlassian相比前代產品，性能提升30%，延遲降低20%；Honeycomb.io相比AWS Graviton4最高可降低25%延遲，每核性能提升36%；SAP單代性能最高提升60%。
去年，Apple強調的是在AI與ML生命周期的許多階段採用亞馬遜雲科技服務，從微調模型到優化和構建可供部署的最終適配器，擴展了Apple培訓基礎設施以滿足創新需求。同時，Apple也分享了其從x86和G4實例遷移至Graviton與Inferentia2的實踐。
今年的重點談的是Graviton的遷移效果，核心服務以Swift重構並全面遷移至Graviton之後，Apple實現了40%的性能提升和30%的成本下降。
目前亞馬遜雲科技連續第三年，新增CPU容量的一半以上由Graviton提供支持，排名前1000 的EC2客戶中有98%已經受益於 Graviton 的性價比優勢，包括Adobe、Airbnb、Atlassian、Epic Games、F1、Pinterest、SAP、Siemens、Snowflake和Synopsys。
最後值得一提的是今年推出的AWS Lambda Managed Instances。自2014年問世以來，AWS Lambda一直被視為亞馬遜乃至整個科技史上最具顛覆性的服務之一，目前全球每月的調用量已達到約15萬億次。
AWS Lambda Managed Instances允許在Amazon EC2上運行AWS Lambda函數，同時繼續保留無伺服器架構所帶來的運維簡化體驗。實現在不犧牲熟悉的無伺服器開發體驗的前提下，獲取更豐富的計算選項，並為穩定運行的工作負載優化成本。
亞馬遜雲科技Bedrock產品經理Atul Deo介紹說，以往在Lambda中，容量與吞吐完全由系統託管，開發者只需寫代碼，看不到背後的實例形態。如今通過Lambda Managed Instances，客戶可以自主選擇一系列EC2實例類型，用來承載自己的無伺服器函數，實現「保持無伺服器體驗，同時獲得可選算力」的新模式。
這讓客戶在獲得更多底層控制權的同時，保留了Lambda的所有核心好處：運維簡單、按事件驅動、無須自己操心打補丁、系統升級、運行時更新等。
同時Atul Deo也觀察到，Serverless技術正在各類Agent場景被大量使用。Agent 既需要安全、隔離的運行時環境，也依賴在大量事件驅動的場景中靈活擴縮，這正是Lambda這種 Serverless服務天生的優勢。
在生成式AI時代，很多步驟恰好適合用 Lambda 函數來承載。涉及大量的狀態管理和事件編排，需要在保證性能和可靠性的前提下，把整個工作流控制在一個成本可控、性價比高的水平上。
在生成式AI的工作流里，許多環節天然適合交由Lambda函數來承載，大量狀態管理、事件驅動的編排、對性能與可靠性的持續要求，都需要一種足夠彈性、又具備成本效率的底層架構。
隨著更多企業把複雜的AI推向生產環境，如何在算力和成本之間找到新的平衡點，將愈發依賴這種「按需即用」的計算範式。
