二十多年來,AWS一直是雲計算領域無可爭議的領導者,但最近8個月隨著AI應用的激增,微軟等競爭對手正在迅速占據一席之地。
突如其來的生成式AI推動著開發者和企業紛紛擁抱AI,而微軟對OpenAI高達100億美金的巨額投資,使其成為潛在的行業領跑者。伴隨著這些變化,人們開始質疑AWS在生成式AI這個新市場中的領導地位和定位。
AWS能否保持其領先地位,還是會失去相對於微軟和其他新興競爭者的領先地位?我們想從AWS那裡直接得到答案,因此我們採訪了AWS銷售和營銷高級副總裁Matt Garman。
Garman曾經領導EC2雲計算計劃,擁有獨特的技術專業知識和領導力組合。現在,他負責引導AWS原有的雲計算業務走向新的、快速增長的生成式AI市場。
在採訪中,他指出了生成式AI帶來的重要機遇和挑戰。以下是這次對話的摘要:
解決人工智慧潛在的道德問題:生成式AI正在贏得開發者和企業越來越多的認可。然而,各種企業組織已經公開表達了他們對於濫用和智慧財產權的擔憂。Garman澄清說,這些企業並非是禁止生成式AI,而是制定了智慧財產權保護措施。隨著AI技術的激增,企業將需要進行調整以管理不斷增長的AI應用。
在促進AI採用方面,Garman承認,需要採取多方面的戰略來服務多樣化的客戶群。AWS具有包容性的產品戰略旨在通過從基礎設施層延伸到應用層的解決方案來滿足這種多樣性。他重點介紹了Hugging Face、Stability.、Runway AI和Anthropic等初創公司是如何利用AWS的雲功能來快速擴展的,從而實現了那些通常僅限於大企業使用的技術的普遍使用。
保護數據,擴大選擇:生成式AI的主要關注點是智慧財產權的安全性和對數據結果的信任。Garman解釋了AWS為確保數據安全所採取的方法,他說:「對於第一方模型,我們會非常謹慎地選擇哪些數據用於構建該模型。」AWS還在Jumpstart中提供了開源模型,讓客戶能夠在Virtual Private Cloud中操作模型。
通過AI增強人類的能力:行業觀察家預測,AI將顯著實現各種任務的自動化,並增強人類能力,從而徹底改變商業模式和社會。在這種背景下,Garman將生成式AI視為一種提高效率和效果的、極其強大的工具。他澄清說,AI不會很快取代人類。相反,它將增強人類的能力,使人類能夠更加專注於工作的創新方面。
利用GPU創新AI的限制和機遇:市場對AI和訓練模型用的GPU需求不斷增長,這是當今的一個緊迫問題。AWS多年來一直投資於機器學習和AI基礎設施,致力於應對這些挑戰。AWS稱它在雲中運營著規模最大、性能最高的GPU集群。當意識到與功耗相關的潛在環境問題時,AWS計劃到2025年之前為其全球所有數據中心提供可再生能源供電方式。
他說:「生成式AI是一種極其強大的能力,有機會讓我們變得更加高效、更加有效,但它不會很快地取代人類。」AWS準備通過數據安全性、模型多功能性、管理與GPU和定製晶片相關的挑戰和機遇等一系列策略來引領生成式AI的未來。
以下是對Garman的完整採訪,為了清晰起見,進行了少量編輯:
Amazon做AI已經很長時間了。讓我們首先澄清一下AWS在AI領域的地位。請您簡要解釋一下AWS在機器學習和AI方面的歷史、發展軌跡和經驗吧。
在Amazon和AWS,我們一直非常關注人工智慧和機器學習,坦率地說,我們一直致力於這個領域長達20年,並且知道生成式AI正在並且將繼續改變企業的業務方式。我們在這方面進行了很長一段時間的專業知識積累。AWS對於生成式AI徹底改變眾多行業和企業的潛力感到非常興奮,我們希望確保客戶能夠以對其業務有意義的、安全且有效的方式利用生成式AI。
AI是我們一直深度投資的一個領域,也是我們充滿熱情的一個領域,AI將幫助我們的AWS客戶和世界各地的客戶真正實現業務轉型。我們認為,AWS採用的方法最終就是大多數客戶希望在他們運行應用中使用和構建生成式AI的方式。
一些企業禁止員工使用ChatGPT。就連監管環節也開始露出醜陋的一面。為什麼人們對AI感到恐懼?您對此持何立場?您如何看待此事的進展?
當ChatGPT問世時,確實激發了人們的靈感,讓很多人真正了解了人工智慧的力量。它很好地讓公眾意識到什麼是可能實現的事情。所以我想你看到很多人都非常興奮並想快速加入其中。當你觀察到一些大銀行或者其他一些企業正在做的事情時,你會發現,他們並沒有完全禁止生成式AI的想法。他們要求自己的團隊謹慎地將自己的IP放入這些系統中。這些系統(如ChatGPT和其他系統)的學習方式中,一部分是當你輸入問題時,當你把數據放入該系統時,它會採用該系統,將其集成到它所知道的內容中,然後構建一個更廣泛的知識庫,基於這個知識庫來回答問題。
許多企業正在採取措施以制定正確的控制措施和安全措施,以免他們自己的智慧財產權泄露到這些(公共)模型中。我認為這是合適的。當我們與客戶和企業交談時發現,他們最擔心的事情之一是,他們明白,在未來他們自己的智慧財產權和數據實際上將成為最有價值和最能體現差異化的事物之一。他們有前進的動力。因此,他們採取的是控制措施,確保他們對自己IP擁有恰當的控制權,以便他們的員工不會無意中將其分享到其中一個模型中,被上傳,然後可供所有人使用,從而失去這個IP。
他們沒有意識到,他們實際上是在用自己的智慧財產權為修訂後的語料庫做出貢獻,然後這些語料庫就會涉及到圍繞智慧財產權的各種問題,並從本質上發布它。想像一下,如果你是一家銀行,你希望確保你的數據不會被加載到模型中,以防競爭對手學習模仿你所做的事情。
企業希望如何使用生成式AI,和獨立軟體供應商如何使用生成式AI,這兩者有哪些主要區別?
每個人都希望恰當地使用生成式AI。生成式AI是一項強大的技術,有潛力幫助我們提高效率、真正地改變客戶體驗。我認為,當你思考這些差異,以及初創公司和大型企業的思考方式,或者是SaaS提供商的思考方式時,你就會知道,其中很多並不完全是你想像的那樣,他們可能出於不同的技術採用階段。
如果你是一家初創公司,你會想知道如何快速實現目標,如何快速疊代?如何才能獲得這些通常只有真正的大公司才能獲得的技術?這就是雲和AWS能夠實現的事情之一。所以你會看到像Hugging Face、Stability這樣的初創公司。Anthropic是建立在AWS雲上的,這樣他們可以快速獲得大規模容量,可以快速疊代,可以學習,並且可以成長。
很多初創公司喜歡使用雲。如你所知,這就是AWS從一開始就作為價值主張成長起來的地方,生成式AI也不例外。
所以,當你觀察規模較大的獨立軟體廠商時,情況也是一樣的。我認為他們喜歡的事情之一是擴展能力、測試新功能的能力——這些規模較大的成熟ISV正在做一些非常酷的事情,他們推出了真正創新的新技術和功能,所有這些都是基於生成式AI的。
而企業的需求,和開發者或者初創公司是略有不同的。例如,企業可能需要CodeWhisperer等類似SaaS的體驗,而開發者想要的是使用Bedrock作為生成式AI的構建模塊。你如何將這些混合在一起?
我們的觀點是,不存在同質客戶這樣的事情。客戶在使用這項技術方面有不同的方式,有些人是把它作為打包產品中的一個層,有些人是把它作為基礎設施層的一部分,我認為這就是AWS真正的亮點所在。
對於那些想要構建自己模型的人來說,我們自己構建晶片,這將越來越成為我們的一個競爭優勢。長期以來我們一直是運行GPU基礎設施的最佳場所。我們的客戶喜歡在AWS中運行大規模GPU集群,我們還構建了自己的基礎設施,我們認為,這些基礎設施具有成本和性能上的優勢……用於大型訓練集群的Trainium,還有用於運行大型推理集群的Inferentia。
如果你考慮SageMaker,它幾乎是每個機器學習開發者所選擇的開發平台,可以確保他們正在開發安全的AI,確保你正在測試各種不同的模型,以了解哪些模型真正適合你的應用。
Bedrock正在為各種模型提供易於使用的API,無論你是否大量使用這些基礎模型,人們都希望能夠將這些模型用於不同的用途,而且他們甚至可能想要把不同的模型結合在一起使用。
幾乎每個想要使用生成式AI的客戶都希望確保在一個安全的環境中進行操作,在這個環境中,他們知道自己的IP是安全的,是可以解釋的,有儘可能多的資訊,儘可能多地了解模型是如何創建的。這就是我們關注的重點:我們如何才能向企業保證,他們擁有的是最高性能的基礎設施,同時也是最好的、最安全的平台,用於構建生成式AI,以便他們知道他們的數據和智慧財產權不會受到影響,不會泄露到他們無法控制的地方。
你們如何確保安全?關鍵價值主張是什麼?
我們的第一方模型有很多東西。我們有自己的模型,我們將其稱為Titan模型。從版權角度來看,我們會非常謹慎地選擇哪些數據用於構建該模型,我們對此非常清楚。客戶知道他們可以放心,我們有權使用用於構建該模型的數據進行構建。
我們在Jumpstart中提供諸如開源模型之類的東西,Jumpstart是SageMaker的一部分,用於提供預訓練的開源模型,以便在部署之前進行訓練和調整。當你在其中一些開源模型上運行的時候,很多模型會變得非常強大,並且在許多情況下要優於當今的一些專有模型。客戶可以完全在自己專有的VPC[虛擬私有雲]或者網路內運行這些服務,這樣他們就可以運行該模型。他們可以將其與任何類型的外部連接隔離,確保他們在該模型中使用的任何內容都是保留在模型內部的,保留在VPC內部的。
和Bedrock相同,對於任何調整Bedrock模型(這是我們在Titan模型中擁有的關鍵功能之一)的人來說,我們都會確保他們的數據不會泄漏回核心基礎模型,而且模型是保留在客戶VPC內部的。所以他們對於其他數據工作所採取的控制措施,和對於生成式AI來說都是一樣的。
AWS有很多初始功能可供選擇,你提到你有第一方模型,OpenAI有他們的模型,但它不在AWS上,然後還有通過Bedrock的第三方模型。而且最近這一波開源創新浪潮,就在過去的一個半月里,你看到了巨大的激增。客戶什麼時候會想要使用你們的主要模型,他們神之後想要使用一些類似Bedrock的長尾產品和開源產品?你如何在這些之間取得平衡?
我們的目標,是為客戶提供能夠運行最適合其應用的選擇。例如,針對金融服務客戶優化的模型,可能並不是針對基因組數據優化的模型,也可能不是最適合電子商務或圖像或任何其他任務的模型。另一個例子是Stability AI,Stability目前對於圖像來說是一個很好的模型,但對於文本來說卻不是。順便說一句,這些模型會隨著時間的推移而改變,我們希望客戶能夠挑選出他們想要用於最佳用途的最佳模型。
還有SageMaker。我們讓客戶可以輕鬆地進行A/B測試。在雲中你就可以做到這一點,不必花費數十億美元來構建自己的模型。你可以利用其中的一些模型,並且測試模型A的性能是否優於模型B,或者某些模型組合是否實際上是最適合你的模型。
隨著時間的推移,人們會在其中一些基礎模型的基礎上進行調整和構建,從而擁有屬於自己的模型,對其進行調整,然後從中濃縮。這就是他們在生產中實際使用的東西。我們希望讓他們能夠非常輕鬆地完成這個過程,但要以一種經濟有效且安全的方式,以便實際使用這些模型並對其進行擴展。未來成本是人們關注的一個問題,他們很擔心生成式AI的成本,無論是Amazon的第一方模型還是開源的或其他專有的模型,我們的目標都是隨著時間的推移支持每一個模型。
生成式AI讓我想起了AWS的早期,當時也有同樣的情況。我應該建立一個數據中心並提供所有這些東西,還是將其放在雲中並獲得即時價值和可變彈性?我的意思是,同樣的事情也發生在生成式AI和其他基礎模型上。如果你願意,你也可以自己構建,那就祝你好運了,或者混合搭配,自己編寫代碼。
沒錯,隨著時間的推移,你會看到我們在向客戶提供的一些應用中,會越來越多地利用生成式AI,CodeWhisperer就是一個很好的例子。它是一個編碼助手,但仍然考慮到了企業的需求,我們內置了自動推理功能,以確保編寫出代碼的安全性。如果我們向你展示來自開源的代碼示例,我們有能力強調,許可證是什麼,確保你想要使用來自開源的代碼示例。
我們的重點與其他人有些不同。在 AWS,我們專注於如何利用生成式AI讓我們的客戶取得成功,並且減少生產力套件、搜索或任何其他事物的干擾。我們專注於確保我們的客戶能夠充分利用這些技術,我們從這些用例開始,然後從那裡開始我們的工作。
我們看到AI承擔了越來越多的任務,改變了人類的角色,增強了人類的能力。那麼AI如何真正實現企業自動化和差異化?
我認為,生成式AI能是一種極其強大的能力,有機會讓我們變得更加高效、更加有效。你知道,它不會很快取代人類。CodeWhisperer不會讓你不再需要開發人員了,而且是讓開發人員不必再編寫定製代碼了。它將讓開發人員可以編寫更安全的代碼,這樣開發人員就可以專注在一些創新的客戶體驗上,而不必擔心編寫代碼所必需的阻塞和處理工作。我認為,未來的編碼語言可能是英語的,那也沒關係。
或者是聲音的方式?
是的,完全正確。但它會用英語說出來,然後工具會將其翻譯成代碼。專業知識可能不理解Java或C 或類似東西的細微差別,但這沒關係。它只是改變了一些技能,現在你只需要考慮你想要構建的應用,而不是如何構建。
這個模型會是「人類 AI>AI本身」嗎?
100%,是的。這種情況將會持續很長一段時間,甚至可能永遠。
圖形處理單元的供應似乎變成了一個瓶頸。市場對AI訓練和推理是有需求的。你認為這個行業的核心制約因素是什麼?行業必須採取哪些措施才能緩解這個壓力?
這其中有很多限制。我認為,關鍵的事情之一是構建其中一些基礎模型需要大量的計算能力,可能需要數十億美金的GPU,但又不僅僅是GPU,還有伺服器、網路、數據中心、電力、電力,所有這些部分,對嗎?很長一段時間以來,我們一直在構建這樣的東西。
我們擁有雲中最大的GPU集群。我們在雲端擁有性能最佳的GPU集群,從長遠來看,我認為,功率實際上是你必須真正考慮的事情之一,因為這些集群有可能達到數百兆瓦到千兆瓦的功率。你知道的,到2025年,我們將使用可再生能源運行我們所有的全球數據中心,這將會起到很大的幫助作用,因為電力有導致環境問題的風險。
我們需要考慮如何以很多不同的方式擴展這些GPU。我認為,這就是我們定製晶片的用武之地。是的,GPU非常棒。Nvidia在打造真正優秀的產品方面做得非常出色,並且他們將在很長一段時間內在這個領域發揮非常重要的作用。但我們也認為,定製設計的晶片還有發展空間,而且我們認為,像Trainium這樣的產品是具有真正潛力的,隨著時間的推移,可以幫助客戶降低成本、降低功耗並提高性能。對於我們的客戶和我們的業務來說,這是一種競爭優勢,因為我們給客戶提供了低成本的選擇,在某些情況下,提供了可以超越GPU的性能。
AWS在晶片和物理層做了很多工作,AI真正的技術價值和商業價值以及作用是在整個堆棧中的。你能否分享一下你對生成式AI給整個堆棧帶來的影響嗎?
我認為將會出現全面的創新。每個行業都會有網路層的創新,計算層的創新,工具層的創新,支持服務層的創新,比如矢量資料庫和其他類似的東西。每天都會有新的初創公司湧現,專注於這個工具鏈中的不同環節。
所有這些事情都將是非常有趣的,正如我們所討論的,一直到應用堆棧,那裡有各種各樣的新技術。所以我認為,這是一項幾乎可以應用於任何地方的技術。無論我們這個月談論的是什麼,六個月後可能會變得完全不同。有很多人在進行創新,這就是AWS如此出色的一部分原因。我們為人們提供了實現創新的平台。
我在報告中看到的是,目前AI方面有兩種類型的客戶。有些可以已經進入雲端,有些客戶還沒有完全進入雲端。當疫情帶來重大轉變的時候,以及現在生成式AI帶來快速變化的時候,很明顯,在雲中「這個趨勢就是你的朋友」。考慮到在疫情等重大社會消費變化期間觀察到的各種有利趨勢,身處於雲端,將如何影響企業抓住生成式AI帶來的機遇?
把所有數據和工作負載轉移到雲中,將讓你能夠適應不斷變化的趨勢和技術。生成式AI就是其中之一,每個客戶和每個企業都必須真正考慮如何將其融入到他們所做的一切事情中。如果你的數據不在雲端,那就更難了。首先就是要確保你的數據在AWS中,在數據湖中可用,你可以查看,你的計算和工作負載在那裡,你有圍繞這一切建立起來的結構。
許多已經踏上雲之旅的客戶都處於快速發展的良好狀態,而有些客戶則忙忙碌碌,因為他們意識到這是他們在自己數據中心內無法實現的功能,只是他們沒有辦法做到這一點。規模是不可能的。速度和技術正在不斷發展,這在你自己數據中心不可能做到的。這是人們快速遷移到雲的進一步證據和動力,但了解生成式AI,將在未來許多年改變他們的業務。
我們有OpenAI,目前在AWS上是不可用的,Anthropic在AWS上是可用的。我一直在與一些頂級企業的內部人士和風險投資公司溝通,他們都想要開放,他們想要更多的選擇。很多人私下抱怨他們希望看到OpenAI能和Bedrock一起運行。你會通過Bedrock為Sam Altman提供OpenAI的大量客戶嗎?
當然。我認為所有客戶都希望有選擇。我希望客戶感興趣的每個生成式AI模型都可以運行在Bedrock和AWS中。
開源在生成式AI領域正在快速發展。客戶和開發人員也希望開源。僅僅幾個月的時間,就出現了大幅的增長。現在是早期的雲AI時代,你們擁有大型模型,並且開源模型的長尾正在出現。你對模型的組合、開源和長尾有何看法?如何看待這些混合在一起帶來的影響?
很難說。最近,我們從一些經過提煉的開源模型中看到了令人驚嘆的結果。Facebook的LLaMA模型非常棒。本周剛剛有一個新模型推出,那就是LightOn,是一個更小的模型,但它在開源世界中的表現優於LLaMA。它是完全在在AWS上進行訓練的。
有很多有趣的創新正在湧現。我認為,也總是需要這些非常大的核心模型,有助於提煉其中一些開源模型和專用模型。但這是一個快速變化的領域,很難說。這就是為什麼我認為選擇如此重要。AWS更願意讓客戶在以後找到更喜歡的馬時能夠輕鬆更換他們的馬。
對於初創企業你有什麼建議?創業軌跡和第一代雲是不一樣的。你必須獲得客戶,但規模是一件大事。你如何看待下一代浪潮的到來?你對初創公司和企業有何建議?
我們的想法是,AWS對於初創公司和各種客戶來說是一個很好的選擇,實際上是一個接觸客戶的渠道。絕大多數企業和公司都在AWS中運營著他們的業務。但我們不會去構建廣泛的創新技術。我們會提供很多東西,但還有很多東西是我們不會去構建的,合作夥伴是我們在AWS中所做一切事情的關鍵。我們有很多計劃,從Marketplace一直到我們的渠道計劃和認證,確保我們的合作夥伴能夠以真正易於使用的、真正易於集成的方式,供我們的客戶使用。
因此,我鼓勵他們所有人看看我們在合作夥伴生態系統和Marketplace中擁有的一些計劃,因為我們會發現,這是許多企業希望整合這些工具並廣泛應用的方式之一。