本周二AWS在介紹了「生成式AI堆棧」的參數後,今天AWS在拉斯維加斯舉行年度re:Invent大會上推出了實現這一願景的關鍵服務和工具。
AWS公司數據和人工智慧副總裁Swami Sivasubramanian(如圖)在宣布最新系列產品的主題演講中,將生成式AI比喻為「稱為超新星的美麗能量爆炸」,以描述當前專注於科技領域的AI。
Sivasubramanian在re:Invent大會演講過程中表示:「人類與技術之間的強大關係正在我們所有人面前展開,我喜歡把如今發生的一些事情視為數據、生成式AI和人類之間一種有益的關係。」
SageMaker所扮演的角色
這種有益的關係將取決於AWS為企業客戶提供支持的能力,而這種能力是由實現生成式AI結構的需求所驅動的。從雲巨頭AWS的角度來看,這其中包括訪問基礎模型、利用數據的私有環境、用於構建和部署應用的易於使用的工具、以及專門構建的機器學習基礎設施。
正如今天發布版本所定義的,該結構將很大程度上依賴於AWS的機器學習平台SageMaker,以及新推出的Amazon Q生成式AI助手,另外Amazon Bedrock也是一個重要資源,是AWS通過API提供基礎模型的一項服務。
針對SageMaker,AWS推出了HyperPod解決方案,旨在消除優化模型訓練的機器學習基礎設施所涉及的無差別繁重工作。AWS表示,這一新產品將把模型訓練時間縮短了40%。
Sivasubramanian表示:「這是一件大事,客戶將會看到顯著的改進。」
HyperPod的重要性在於,它能夠解決IT基礎設施在處理數據量和訓練模型所需複雜性方面的局限性,這通常涉及到把模型訓練分散到數百或數千個加速器上,並行運行數周或數月時間的數萬億數據計算。
SageMaker HyperPod讓客戶能夠自動在計算資源之間分配訓練工作負載,定期保存檢查點,以避免在某個組件發生故障時損失時間。
Amazon SageMaker董事兼總經理Ankur Mehrotra在接受媒體採訪時表示:「你可以把這視為流量管理問題。它優化了GPU之間的通信,為客戶提供可以自我修復的訓練集群。」
加強數據基礎
AWS在本周發布的Amazon Q生成式AI助手基礎上,又在Redshift中添加了生成式SQL來簡化查詢編寫,並在使用自然語言的無伺服器AWS Glue平台中添加了數據集成功能。
Sivasubramanian表示:「Q通過連接你的數據來支持業務的幾乎每個領域,AI可以增強為其提供動力的數據基礎。我們利用這項技術來解決數據管理中的一些重大挑戰。」
Amazon Bedrock在AWS本周發布的公告中占據了顯著位置。Bedrock於今年9月全面上市,AWS首席執行官Adam Selipsky和Sivasubramanian在他們的主題演講中均指出,Bedrock已經被超過10000家客戶使用。
AWS一直在持續為Bedrock積累新的功能,並進行一系列增強,包括本周二添加的微調功能和新的安全服務。今天的重點則是滿足更廣泛的模型選擇需求,AWS宣布已納入Anthropic語言模型最新版本Claude 2.1,同時還將在Bedrock中添加Meta的Llama2 70B。
Sivasubramanian表示:「我們仍處於生成式AI的早期階段,這些模型將繼續加速發展。」
Bedrock也成為矢量資料庫領域一個有用的資源。Sivasubramanian在講話中指出,現在有許多矢量資料庫是為Bedrock量身定製的,包括Redis Enterprise Cloud和Pinecone,MongoDB和Amazon Aurora也將加入其中。
AWS宣布推出了新的矢量搜索功能,包括OpenSearch Serverless、Document DB、Dynamo DB和Amazon MemoryDB for Redis。在今年早些時候發布在AWS網站上的一篇論文中,AWS分析服務、資料庫和AI領導力副總裁G2 Krishnamoorthy以及一些合作者概述了矢量數據存儲在生成式AI中發揮的重要作用。
在資料庫中映射語義關係的嵌入或向量元素,對於生成式AI領域來說有很大的用處。Krishnamoorthy在接受媒體採訪時表示:「矢量嵌入可以更有力地表示這些資訊,在這方面我們還處於非常早期的階段。」
對於最終為AI巨頭提供動力的幾項技術來說,現在可能還為時過早,但AWS已經利用這次re:Invent大會的機會,展示了自己有興趣在這個技術方向上擁有的主要發言權。
Sivasubramanian表示:「數據、生成式AI和人類之間強大的共生關係,正在加速我們創新的能力,AWS擁有解鎖這項強大技術的一切。」