從2006年南非開普敦一個10人團隊開發了亞馬遜雲科技第一款EC2實例，到現在EC2已經有了600多種實例，幾乎覆蓋了所有的工作負載。
在這個歷程中不得不提Amazon Nitro系統，其開啟了軟硬體一體化加速產品商業化之路。Amazon Nitro系統不是單一的專用硬體設備，而是一套完整的軟硬體融合協同系統，由Nitro虛擬化、Nitro I/O加速卡、Nitro安全晶片三個主要部分組成。
從2013年Amazon Nitro系統問世，亞馬遜雲科技的自研晶片之路也就此打開，2017年亞馬遜雲科技發布第三代Amazon Nitro系統，在業界首次使用自研專用晶片。
亞馬遜雲科技過去10年在自研晶片領域持續創新，形成了三條自研晶片的產品線：第五代虛擬化晶片Amazon Nitro5、三代基於ARM架構的通用處理器晶片Amazon Graviton3及其優化型Amazon Graviton3E、兩款用於機器學習的訓練和推理的晶片Amazon Trainium和Amazon Inferentia2。
「自研晶片會將節省的成本傳遞給客戶，這在生成式AI中的幫助是巨大的。」亞馬遜雲科技生成式AI全球副總裁Vasi Philomin說，模型訓練的成本很大，如果不降低成本就不會有真正的應用。
為了進一步幫助逐漸增多的生成式AI需求，在紐約峰會上亞馬遜雲科技也宣布了Amazon EC2 P5實例正式可用，引入了當紅炸子雞H100。
亞馬遜雲科技和英偉達合作已有12年之久，推出了包括支持視覺計算、人工智慧和高性能計算集群的各種GPU實例，如CG1實例（2010年）、G2（2013年）、P2（2016年）、P3（2017年）、G3（2017年）、P3dn（2018年）、G4（2019年）、P4（2020年）、G5（2021年）和P4de（2022年）實例。
去年發布的Amazon EC2 P4de實例採用8個NVIDIA A100 GPU，每個具有80GB高性能的HBM2e GPU 內存，P4de實例適合需要利用由高精度數據組成的大型數據集進行訓練的工作負載。
Amazon EC2 P5實例則採用8個英偉達H100 Tensor Core GPU，具有640 GB高帶寬GPU內存，同時提供第三代AMD EPYC處理器、2TB系統內存和30TB本地NVMe存儲。Amazon EC2 P5實例還提供3200 Gbps的聚合網路帶寬並支持GPUDirect RDMA，從而能夠繞過CPU進行節點間通信，實現更低的延遲和高效的橫向擴展性能。
與上一代基於GPU的實例相比，Amazon EC2 P5實例可以將訓練時間縮減6倍（從幾天縮短到幾小時），從而幫助客戶節省高達40%的訓練成本。Amazon EC2 P5實例非常適合訓練和運行越來越複雜的大語言模型和電腦視覺模型。Vasi談到，包括像問答、代碼生成、影片和圖像生成、語音識別等需求。
而且Amazon EC2 P5實例可以部署在超大規模集群第二代Amazon EC2 UltraClusters中，其由高性能計算、網路和雲存儲組成，Amazon EC2 UltraClusters可以使用多達2萬個H100 Tensor Core GPU。
「豐富的EC2實例，可以給客戶提供更多性能和價格上的選擇，幫助他們更好地進行構建。同時客戶在構建一個應用程序的時候，可能並不關心底層架構，更多關心的如何定製屬於自己的模型，關係成本效益。」Vasi說道。
隨著各種大模型的湧現，企業的算力需求正在井噴式地增長，生成式AI也將成為雲服務市場新的增長點，並將推動雲服務市場的創新和差異化。
