兩家廠商上周在Amazon的年度客戶大會AWS re:Invent上亮相,並就正在進行的合作發布了一系列公告。
此次的更新包括Nvidia NIM微服務已經在各種AWS AI服務上可用,將為AI開發人員提供更快的推理速度和更低的延遲,此外還推出了Nvidia的DGX Cloud on AWS,以及AI領域的其他各項發展成果。
對於開發人員來說,最大的新聞就是NIM微服務在AWS上的可用性得到了擴展。
Nvidia NIM讓開發人員可以輕鬆訪問一系列易於使用的微服務,從而可以輕鬆地在任何環境(例如雲、本地數據中心和工作站)中部署高性能AI模型推理工作負載。兩家廠商表示,通過此次更新,現在開發人員可以從AWS Marketplace、新的AWS Bedrock Marketplace以及Amazon SageMaker Jumpstart訪問這些服務,讓他們可以更輕鬆地從他們使用的任何界面部署這些服務。
此外,用戶可以把這些微服務部署到多項AWS服務中,包括Amazon Elastic Compute Cloud、Amazon SageMaker和Amazon Elastic Kubernetes Service。
NIM微服務是以預構建容器的形式提供的,附帶了多種推理引擎,包括Nvidia Triton Inference Server、Nvidia TensorRT、Nvidia TensorRT-LLM和PyTorch,此外還支持數百種不同的AI模型,包括AWS Bedrock Marketplace中提供的模型、Nvidia自己的AI基礎模型以及客戶自定義的模型。
DGX Cloud現已上線AWS
除了NIM微服務之外,開發人員還可以訪問新的基礎設施產品,即Nvidia DGX Cloud。Nvidia DGX Cloud現在可以通過AWS Marketplace Private Offers提供給客戶,讓客戶可以訪問完全託管的高性能計算平台,用於訓練、定製和部署AI模型。
DGX Cloud是一種雲託管的AI超級計算服務,讓企業可以訪問Nvidia的GPU、訓練生成式AI和其他類型應用的高級模型所需的軟體。
Nvidia表示,使用DGX Cloud的一個優勢就是它具有靈活性的部署條款,客戶還可以直接聯繫Nvidia的專家,他們將隨時提供擴展AI部署所需的技術專業知識。
DGX Cloud平台目前為客戶提供了對Nvidia最強大的GPU、Nvidia H100和H200的訪問路徑,並將很快擴展到包括計劃於新年推出的下一代Blackwell GPU。
AWS表示,Blackwell晶片將作為GB200 NVL超級計算系統的一部分提供,該系統將受益於其新的液體冷卻系統,相比其他雲平台具有更高的能效和最高的性能。
AI藍圖、機器人模擬和藥物發現
其他與AI相關的公告中,Nvidia表示正在提供很多新的AI Blueprints,可即時部署在AWS上,這些藍圖為影片搜索、容器漏洞分析和文本摘要等任務提供了隨時可部署的AI代理,可以輕鬆集成到現有的開發者工作流程中。
Nvidia表示,這些藍圖將實現很多可能性。例如,開發人員可以使用影片搜索的AI Blueprints快速創建能夠實時分析影片的視覺AI代理。然後,它可以為安全團隊生成警報,或識別工作場所的健康和安全違規行為,發現生產線上的缺陷產品等等。
Nvidia也在AI機器人方面取得了進展。長期以來,Nvidia一直相信AI有助於實現機器人自動化,從而使它們能夠在現實世界中執行更有用的任務,此次更新旨在加速模擬這些用例的方式。
其中的關鍵是Nvidia Omniverse平台。Nvidia表示,正在Nvidia Omniverse上提供一個參考應用,用於創建逼真的虛擬環境和數字孿生,據稱該應用是由其L40S GPU加速的高性能AWS EC2 G6e實例提供支持的,開發人員可以使用它在任何環境中模擬和測試AI機器人,並具有高度逼真的物理效果。
與此同時,Nvidia和AWS也在努力加速AI在新型藥物開發領域的應用。他們表示,Nvidia的BioNeMo NIM微服務和用於推進藥物發現的AI Blueprints現在搭配AWS HealthOmics一起提供,後者是一種完全託管的生物數據計算和存儲服務,旨在支持臨床診斷。
兩家廠商表示,此次合作擴展了AWS HealthOmics的功能,讓研究人員有機會嘗試更多的AI模型。
推進量子計算
最後Nvidia表示,正在與AWS合作幫助加速量子計算的發展。Nvidia的Nvidia CUDA-Q平台用於開發跨越傳統和量子電腦的「混合量子/經典計算應用」,將集成Amazon Braket服務。
Amazon Braket使用戶更容易在量子處理器上設置、監控和執行混合量子-經典算法。Nvidia表示,通過這種集成,CUDA-Q用戶就可以利用Amazon Braket的量子資源,而Braket用戶將可以利用CUDA-Q的GPU加速工作流程進行開發和模擬。