今年，瘦身成功的亞馬遜雲科技高級副總裁Peter DeSantis，用生成式AI親手創作了幾張re:Invent《周一晚間直播》的配圖，來可視化他的演講。
這也為整場活動定下了基調，其實亞馬遜雲科技在底層創新上一直有著悠久的歷史，從晶片設計到計算架構，再到AI加速，每一步都在推動技術邊界的發展。
亞馬遜雲科技高級副總裁Peter DeSantis
自研晶片的技術版圖
亞馬遜雲科技已經擁有超過十年「自研晶片」的歷程，已推出的四大自研晶片產品組合包括：六代Nitro系統、四代Graviton、兩代Trainium和Inferentia。
亞馬遜雲科技在2018年re:Invent大會上發布了基於ARM架構的第一代Amazon Graviton。此後，Graviton晶片不斷針對現實的工作負載進行性能優化：第二代專注於橫向擴展性能，第三代聚焦高計算需求的專業工作負載，而第四代則成為專為雲計算打造的性能最強晶片。
Peter DeSantis指出，過去兩年間，新投產的CPU算力中有超過50%運行在Amazon Graviton上。
與此同時，AWS Nitro System重新定義了伺服器架構，從根本上革新了雲的構建和保護雲的方式。AWS也將AWS Nitro System的安全性拓展到Amazon Graviton4，通過兩者的結合，打造出亞馬遜雲科技迄今為止最安全的計算產品之一。
AI加速器的硬核進化
Trainium加速器不屬於傳統的CPU或GPU，其採用了脈動陣列架構，是專門針對AI工作負載優化過的硬體架構。
「人工智慧工作負載不是橫向擴展型的工作負載，而是擴張類型的工作負載。」Peter DeSantis說道。亞馬遜雲科技採用「擴張」的方式，專注於提高單個系統的容量，而不是採用「橫向擴展」的方式，構建多個相同的系統，在多台機器上分配工作負載。
在傳統CPU和GPU中，每個計算步驟通常需要從內存讀取數據、執行計算後，再將結果寫回內存。這種頻繁的內存操作會導致性能瓶頸，尤其是在需要大量帶寬的AI任務中。
脈動陣列設計目的是高效處理大規模的矩陣或張量運算，脈動陣列通過將計算結果直接從一個處理單元傳遞到下一個處理單元，減少了對內存的訪問需求，從而降低了內存帶寬的壓力。
Trainium2 Server也得益於此，其是目前亞馬遜雲科技最強大的機器學習伺服器，其擴張的速度也超過了曾經所有的伺服器。現場還第一次展示了AWS Trainium2 UltraServer，其設置2個機架、4個伺服器和64個Trainium加速器，以超高速的NeuronLink連接在一起。AWS Trainium2 UltraServer提供相比當前EC2 AI伺服器多達5倍的計算容量和10倍的內存，算力峰值擴展到83.2PFLOPS。
同時推出全新Trainium3，其採用3nm製程的晶片，與上代Trainium2相比，計算能力增加2倍，能源效率提升40%。Trainium3專為滿足下一代生成式AI工作負載的高性能需求而設計，有助客戶更快地建立更大的模型，由Trainium3驅動的UltraServers預計將比 AWS Trainium2 UltraServer的效能高出四倍。
亞馬遜雲科技同時也注意到推理性能優化的關鍵性需求，宣布了Latency-optimized inference option for Amazon Bedrock，使各種模型可以獲得最佳的推理性能。藉助這一優化，Claude 3.5 Haiku在亞馬遜雲科技上的運行速度比其他平台快了60%。
AI生態的未來棋局
Anthropic 從成立那天起，就靠著前沿的 AI 技術圈足了眼球。11 月 23 日，亞馬遜再度追加40億美元投資，使總投資推高到80億。這可不只是砸錢，而是在下一盤關於AI未來的大棋。
Anthropic快速發展的背後，離不開亞馬遜雲科技的強大技術支撐。其Amazon Trainium和 Amazon Inferentia晶片，不僅顯著提升了Claude模型的訓練和推理性能，還顯著降低了成本。11月4日，Claude 3.5 Haiku也在Amazon Bedrock中正式可用。
Anthropic還在《周一晚間直播》中宣布了Project Rainier項目，計劃在數百個Amazon Trainium 集群上進行訓練，構建出更快的、更可擴展的AI，以支持Anthropic的未來模型開發。
亞馬遜雲科技還有很多底層基礎架構的創新，從性能提升到成本降低，每一項突破都在重新定義AI的技術邊界。
