英偉達CEO黃仁勛和Meta CEO馬克·祖克柏,在美國丹佛舉行的第50屆SIGGRAPH圖形大會上進行了一場關於生成式AI的對話,並且他們還互贈了皮衣。
推薦系統是世界上設計出的最大計算系統之一。馬克·祖克柏提到推薦系統對Facebook和Instagram的重要性,如何從朋友動態發展到公共內容的推薦系統,生成式AI如何改進推薦功能,以及未來AI助手廣泛應用和生成內容的潛力。
AI Studio將幫助每個創作者構建一個AI版本的自己。Meta的AI Studio允許創作者在有限時間內實現更多互動,用戶可以訓練這些AI代理以代表自己與社區進行互動。無論是藝術家、小企業還是其他用戶,都可以通過AI Studio創建定製化的AI代理,進行客戶支持、銷售等任務。
從PyTorch到Llama 3.1,Meta的開源哲學。現在幾乎每個公司都在構建AI,Meta開源了PyTorch和Llama 3.1,這對全球企業產生了巨大影響。Meta通過開源技術,節省了數十億美元,並推動了行業標準化。Meta的開源策略不僅有助於構建更高效的系統,還促使生態系統圍繞這些標準進行優化。馬克·祖克柏強調,開源策略作為商業策略非常有效,它不僅提高了技術的普及和改進,還為整個行業帶來了巨大的價值。
全息眼鏡還有一段時間,AI智能眼鏡現在就來了。Meta正與頂尖眼鏡製造商合作,開發具備AI功能的智能眼鏡,目前已經推出了第二代雷朋眼鏡,集成了攝像頭、麥克風和揚聲器,能夠實現拍照、錄影片和實時通訊等功能。
在最後黃仁勛稱讚了Meta的成就,從桌面到移動,再到VR和AI的多次轉型,並強調英偉達也經歷了類似的變革,儘管過程艱難,但這是成為創新先鋒的代價。馬克·祖克柏回應這不僅是轉型,而是不斷增加新內容的過程,並提到Meta現在已經擁有60萬塊H100。
以下為對話實錄:
推薦系統是世界上設計出的最大計算系統之一
黃仁勛:這裡是 SIGGRAPH。你知道,這裡聚集了眾多博士。SIGGRAPH 最棒的地方在於,它是電腦圖形學、圖像處理、AI 和機器人技術融合的盛會。多年來,許多公司在這裡展示了他們的驚人成就,包括迪士尼、皮克斯、Adobe 和 Epic Games。
當然,英偉達今年在這裡也取得了顯著成果。我們在AI和模擬的交叉領域推出了20篇論文。因此,我們正在使用AI進行幫助模擬,規模更大,速度更快。我們正在使用仿真來創建用於合成數據生成的仿真環境。
這兩個領域真的融合在一起了,我為我們在Meta所做的工作感到非常自豪。你們做了驚人的AI工作。我們都受益於Meta開發的PyTorch,它在電腦視覺、語言模型以及實時翻譯等領域取得了開創性的成果。
我想問你的第一個問題是,你如何看待Meta目前在生成式AI方面的進展,以及你是如何利用這些技術來優化運營或開發新能力的?
祖克柏:首先,我真的很高興能來到這裡。Meta做了很多工作,並且多年來一直參與SIGGRAPH會議。與你們這些資深參與者相比,我們還只是初來乍到,但我想那是在 2018年,你那次著名的演講,對吧?我只是想說,謝謝你們歡迎我來到你們的地盤。
在2018年,我們展示了VR和混合現實頭戴設備的一些早期手部追蹤技術。我們已經詳細討論了我們在高保真化身技術方面取得的進步,這些化身可以從消費者的頭戴設備中驅動,我們正逐步實現這一目標,對此我們感到非常興奮。
此外,我們在顯示系統方面也做了大量工作。我們正在進行的一些未來原型和研究旨在使混合現實頭戴設備變得更加輕薄,這需要使用先進的光學堆疊技術和集成顯示系統。我們通常首先在這裡展示我們的最新成果,所以今年能來參加感到非常興奮,我們不僅討論了反向工程的內容,還涉及了所有與AI相關的領域。
我們從FAIR,即AI研究中心開始,那時還是Facebook,現在是Meta,在我們成立Reality Labs之前,我們已經在這個領域耕耘了一段時間。生成式AI技術正在引發一場有趣的革命。我認為它將最終以有趣的方式改變我們所做的每一個產品。我的意思是,我親歷了這一切的發展。
你可以看看我們已有的主要產品,比如Facebook和Instagram的動態和推薦系統。我們一直在不斷地發展這些產品,它們已經從最初的與朋友聯繫功能發展了更多功能。
排名功能一直非常重要,即使你只是關注朋友,如果有人分享了重要事件,比如你的表弟生了孩子,你當然希望這個消息能出現在動態的最上方。如果我們沒有把它突出顯示,而是讓它埋沒在動態中,你可能會對我們感到非常不滿。
排名功能一直很重要,但在過去幾年中,它已經發展到了一個新的階段,越來越多的內容變成了各種公共內容。推薦系統因此變得至關重要,因為現在面對的不再是幾百或幾千個來自朋友的潛在帖子,而是數百萬個內容片段,這構成了一個極具挑戰性的推薦問題。
隨著生成式AI技術的進步,我相信我們很快就會進入一個新的階段,屆時Instagram上推薦給你的大部分內容將不僅僅是基於你關注的人,而是來自世界各地與你的興趣相匹配的內容。未來,大量內容也將通過這些工具被創造出來,其中一部分將是由創作者使用這些工具創作的新內容。
我認為,其中一部分內容最終將根據你的需求即時生成,或者是通過整合全球各地的不同資源來創造的。這正是我們核心業務將如何演變的一個例證。實際上,這種演變已經持續了20 年。
黃仁勛 :我認為很少有人意識到,推薦系統是世界上設計出的最大計算系統之一。
祖克柏 :確實,這是一個全新的方向,它並不是人們熱議的生成式AI領域,但我認為它就像是一種架構,所有的轉換都是架構。這就像是在構建越來越通用的模型,將非結構化數據轉化為有用的特徵。
推動質量提升的一個關鍵因素是,過去我們為每種內容類型都設計了不同的模型。例如,我們曾有一個模型專門用於短影片的排名和推薦,另一個模型則用於長影片。通過產品開發,我們使得系統能夠在線顯示任何類型的內容。
隨著你創建出能夠覆蓋所有內容的通用推薦模型,這些模型會變得越來越精準。這部分是因為內容的流動性,就像經濟學中的概念,你從一個更廣泛的內容池中提取,這樣就避免了從不同池子中提取內容時可能出現的效率低下問題。
隨著模型變得越來越強大和通用,它們的性能也會不斷提升。我夢想著有一天,Facebook或 Instagram幾乎可以由一個單一的AI模型驅動,這個模型能夠整合不同的內容類型和系統,這些系統在不同的時間尺度上有著各自的目標。有些內容是向你展示今天你可能感興趣的有趣內容,而有些則是長期幫助你擴展社交網路,你可能認識的人或你可能想關注的賬戶。
黃仁勛:多模態模型通常在識別模式和微弱信號方面表現更出色。人們總是對AI在你公司中的深度應用感到好奇,畢竟你們一直在構建GPU基礎設施,並且運行這些大型推薦系統已經有一段時間了。
現在,生成式AI真正酷的地方在於,當我使用WhatsApp時,我感覺我正在與它合作。我喜歡想像,當我打字時,它正在實時生成圖像。我回頭修改我的文字,它就會生成不同的圖像?
所以那個中國老人在日落時,一邊品著威士忌,一邊被三隻狗圍繞著,一隻是金毛獵犬,一隻是金毛混血犬,還有一隻是伯恩山犬。它生成了非常吸引人的一張圖片。是的,我們已經做到了,那是我每個月的樣子。確實,這更好了。現在你實際上可以在那裡上傳我的照片。這是真的我嗎?
祖克柏:想像一下,我花了很多時間與我的女兒們一起玩耍,想像她們變成美人魚等角色,過去的一周真是樂趣無窮。是的,這就是生成式AI的另一面。一方面,我認為它將為我們的工作流程和產品帶來一次重大升級。但另一方面,它還將催生出許多全新的創意。
因此,Meta AI的概念是擁有一個能夠幫助處理各種任務的AI助手,這將是極具創造性的,正如你所描述的那樣。但重要的是,它們非常通用,因此不必局限於特定用途。隨著時間的推移,它將能夠回答任何問題。
當我們從Llama 3類模型過渡到Llama 4類模型及其更高級版本時,這種體驗將不再局限於簡單的聊天機器人模式。不再是你給出提示,它就回應,然後你再給出提示,它再回應。相反,它將迅速發展,能夠根據你的意圖獨立工作,跨越多個時間框架。
它應該從一開始就確認你已經向它表達了你的意圖。我認為有些東西最終會加速計算工作,需要幾周或幾個月的時間,比如,當世界上發生了一些重大事件時。我認為這將具有非常強大的力量。
AI Studio將幫助每個創作者構建一個AI版本的自己
黃仁勛:今天的AI主要功能是接收輸入並做出回應。但當我們面對一個任務或問題時,我們通常會考慮多個選項,甚至可能構建一個決策樹來考慮每種可能的選擇所帶來的不同結果。這就是我們在進行規劃的過程。未來的 AI 也將執行類似的操作。
你闡述關於創作者AI的願景時,我感到非常興奮。這個想法確實令人振奮。請向大家介紹一下創作者AI以及這個AI工作室,它將如何幫助大家實現這一目標。
祖克柏:我們之前提到過,但今天我們正在將這個項目擴展到更廣泛的範圍。我們的願景是,不會只有一個AI模型。有些公司似乎在構建一個中央代理,但我們會提供一個Meta AI 助手供大家使用,我們希望賦予所有使用我們產品的人創建自己代理的能力。
無論是平台上的眾多創作者,還是數以億計的小企業,我們最終希望能夠整合所有內容,並迅速創建一個業務代理,以便與你的客戶互動,進行銷售和客戶支持等。我們現在開始推廣的項目被稱為 AI Studio。
AI Studio 是一套工具,最終將幫助每個創作者構建一個AI版本的自己,作為社區可以與之互動的代理或助手。
如果你是一名創作者,你希望與社區有更多互動,但時間是個限制。同樣,你的社區也希望與你互動,但這同樣困難,因為時間有限。因此,允許人們創建這些AI代理,實際上是一種替代方案。這些AI代理雖然不是創作者本人,但你可以訓練它們以你想要的方式代表你,就像創作藝術作品或發布內容一樣具有創造性。
這些代理不是直接與創作者本人互動,但我認為這是創作者在社交平台上發布內容後,以另一種有趣的方式與觀眾互動的一種方式。同樣,我相信人們將根據自己的需求和偏好創建各種用途的 AI 代理。有些可能是為了完成特定任務而設計的定製化實用工具,他們希望對其進行微調,還有些代理可能是為了娛樂目的而創建的。
有些人們創造的內容非常有趣,甚至有些荒謬,以各種不同的方式展現出來,或者對某些事情持有一種幽默的態度。這些內容可能不會被整合進 Meta AI 作為一個助手功能,但我認為人們對於看到和與這些內容互動非常感興趣。另一個有趣的應用場景是,我們看到人們開始利用這些代理來獲取幫助。
讓我有些意外的是,Meta AI目前一個非常受歡迎的應用場景是人們用它來模擬即將面臨的複雜社交情境。例如在職場中,我想問我的經理,如何才能獲得晉升或加薪?或者我與朋友發生了爭執,再或者我和女朋友之間出現了棘手的問題,這樣的對話該如何展開?
這個平台提供了一個完全無壓力的環境,你可以在這裡模擬不同的對話場景,觀察對話的進展,並獲得有益的反饋。然而,許多人並不滿足於只與單一類型的AI代理互動,無論是Meta AI、ChatGPT還是其他流行的選擇,他們渴望創造屬於自己的內容,這就是AI Studio的發展方向。
我們認為,人們不應該只與一個大型AI進行互動,我們相信,如果世界上存在更多這樣多樣化的內容,世界將變得更加美好和有趣。
黃仁勛:我認為這非常酷,如果你是一名藝術家並且擁有自己的風格,你可以將這種風格和你所有的作品集,微調成 AI 模型。現在,你可以向這個模型提出請求,讓它根據你的藝術風格來創作。
你甚至可以提供一件藝術品,如一幅畫或一個草圖,作為靈感。我可以為你生成作品。你可以通過我的AI來獲取這樣的服務。未來每家餐廳、每個網站可能都會有這樣的AI。
祖克柏:我認為在不久的將來,就像現在每個企業都有一個電子郵件地址、網站和社交媒體賬戶一樣,未來每個企業都會有一個AI代理來與客戶互動。一些事情一直很難實現。例如,考慮任何一家公司,客戶支持通常是與銷售分開的部門。這並不是作為CEO希望看到的工作方式,因為這兩者需要不同的技能。
黃仁勛:無論是購買商品還是處理購買後的問題,你希望有一個地方可以解答你的疑問,並以不同的方式與企業互動,我認為這也適用於客戶服務。與客戶的每一次互動,尤其是他們的投訴,都有助於提升公司的品質。
祖克柏:是的,我認為這個業務版本在集成方面做得更多,我們目前還處於早期的測試階段。但是AI Studio讓用戶能夠創建自己的用戶生成內容(UGC)代理和其他相關功能,並啟動創作者創造它們的良性循環,我對這個項目感到非常興奮。
黃仁勛:所以我能否使用AI Studio來優化我的圖片,我的圖片集?
祖克柏:是的,我們將會實現這個功能。
黃仁勛:然後我可以把我寫過的所有內容都加載進去,基本上把它當作我的個人助理,每次我回來時,它都會重新加載記憶,記得我們上次對話停在哪裡。然後我們可以繼續對話,就像之前從未中斷過一樣。
祖克柏:是的,就像所有產品一樣,它會隨著時間的推移而不斷改進。訓練工具也會變得更好。這不僅僅是你想要它說什麼。通常創作者和企業都有他們想要避免的話題,我們在這方面會不斷進步。
你基本上希望能夠與代理進行幾乎像是影片聊天一樣的互動,我相信我們很快就能實現這一目標。這些技術並不遙遠,而且發展速度非常快,這讓人感到非常興奮。有很多新的內容等待我們去創造。
即使基礎模型的進步現在停止了,但我認為這不會發生,我們仍然有大約五年的時間來進行產品創新,讓整個行業學會如何有效地利用已經開發出的所有技術。但實際上,我認為基礎模型和基礎研究的進展正在加速,現在是一個非常激動人心的時期。
從PyTorch到Llama 3.1,Meta的開源哲學
黃仁勛:突然間每個公司都在建立 AI,無論是大型公司、小型公司還是初創公司都在建立 AI。現在 Llama 3.1 已經發布,我們正在將這項技術推廣到全球的企業。這種興奮程度非常高。我認為這將催生各種應用程序,請告訴我你的開源哲學?
你開源了PyTorch,現在它是進行 AI 的主要框架。現在你已經開源了 LMA 3.1 或 Lama。圍繞它建立了一個完整的生態系統。我認為這非常棒,但這一切的起源是什麼?
祖克柏:隨著時間的推移,我們已經做了很多開源工作。我認為其中一部分,我們是在其他一些科技公司之後開始建設的,或者像分布式計算基礎設施和數據中心這樣的東西。當我們建造這些東西的時候,它已經不是一個競爭優勢了。所以我們就想,我們不妨將其開放,然後我們將從圍繞它的生態系統中受益,我們有很多這樣的項目。
最大的影響可能是我們公布了伺服器設計、網路設計、數據中心設計,通過使這些成為行業標準,供應鏈幾乎完全圍繞它組織起來,這對所有人都有節省成本的好處。通過開源,我們實際上節省了數十億美元。
黃仁勛:開放計算使得我們為數據中心設計的Nvidia hgx ISS能夠在任何數據中心運行。
祖克柏 :太棒了,這是一個非常棒的體驗。我們用基礎設施工具做了這件事,比如React PyTorch。所以當Llama出現時,我們傾向於為AI模型做這件事。過去20年在公司里建造東西真的很有趣,其中最困難的事情之一是不得不處理我們通過競爭對手的移動平台發布應用的事實。
所以一方面,移動平台對整個行業來說是一個巨大的推動力。另一方面,通過競爭對手的平台來發布你的產品是有挑戰性的。我也成長在一個時代,那時Facebook的第一版是在網頁上,是開放的。然後當它轉向移動端時,好處是每個人都有一個電腦在他們的口袋裡,這很棒,但缺點是我們在可以做的事情上受到了更多的限制。
所以當你觀察這些計算時代時,有一種很大的近期偏見,每個人都只關注移動端,因為封閉的生態系統,蘋果基本上贏了,並設定了這些條件。比如我知道實際上有更多Android手機,但蘋果基本上占據了更大的市場份額,並且所有的利潤都集中在蘋果身上。
在發展上,Android基本上都在追隨蘋果,所以我認為蘋果在這一代中顯然是贏家,但情況並不總是如此。如果你回顧過去,蘋果在封閉系統方面有所作為。微軟雖然不是一個完全開放的公司,但與蘋果相比,Windows運行在所有不同的OEM和不同的軟體、硬體上,形成了一個更加開放的生態系統。
在個人電腦時代,Windows是領先的生態系統,可以看作是開放生態系統第一代。我對下一代的計算抱有希望,那就是我們將會回到開放生態系統占主導地位的那個時代。
總是會有封閉的和開放的兩種選擇。我認為兩者都有其合理性,都有其好處。我並不是在這個問題上偏執。我們確實會做一些封閉源代碼的項目,我們發布的並不都是開源的。但我認為,對於整個行業正在構建的計算平台,尤其是軟體開源,這將為整個行業帶來巨大的價值。
因此,這確實影響了我對AI和Llama,以及我們在AR和VR領域所做工作的看法。我們基本上是在為混合現實構建Horizon OS,類似於Android或Windows的開放作業系統。基本上,我們想讓所有不同種類的設備都能工作,想讓生態系統恢復到那個水平,即成為一個開放的平台。
我對下一代技術持樂觀態度,尤其是開放技術方面將取得勝利,我只是想確保我們有使用權。這可能有點自私,但我的目標是,在接下來的10到15年裡,確保我們能夠構建我們用來構建社交體驗的基礎技術。
我想要構建很多東西,然後卻被平台提供商告知「不,你不能真正構建它」,在某種程度上,我就想說「fuck that」。為了下一代,我們想要從頭開始建造,並確保它去向何方。
黃仁勛:有多少人為PyTorch生態系統做出了貢獻,僅英偉達就有幾百人致力於讓PyTorch 變得更好、更可擴展和性能更高等等。
祖克柏:當某件事成為行業標準時,其他人會圍繞它進行工作,所以所有的硬體和系統最終都會被優化,以便非常高效地運行這個東西,這會造福所有人,並且也會很好地與我們正在構建的系統協同工作。
我認為這只是這種方法如何變得非常有效的例子之一。所以我認為開源策略作為商業策略將會是一個好策略,我認為人們仍然沒有完全理解這一點。
黃仁勛:擁有AI非常重要,因為這使得他們公司的機構知識得以編碼和嵌入到AI中。所以他們不能讓這個AI飛輪、數據飛輪和經驗飛輪在其他地方。開源使他們能夠做到這一點,但他們真的不知道如何將這一切轉化為AI。
因此,我們創建了一個名為AI found的平台,我們提供工具、專業知識和技術支持,我們有能力幫助他們將所有這些內容轉化為AI服務。當我們完成時,他們可以帶走並擁有它。它的輸出被稱為NIM,即推理微服務,用戶只需下載並運行它,包括在預訓練和微調環境中。
我們擁有一個完整的生態系統,包括OEM合作夥伴,他們可以運行NIMs,以及我們已培訓併合作創建Llama的GSI。現在我們正在幫助全球企業進行這樣的操作。這真的是一件非常令人興奮的事情,是由Llama的開源引發的。
祖克柏:我認為特別幫助人們從大型模型中提煉出自己的模型將是一件非常有價值的新事物,就像我們在產品方面討論的那樣。至少我不認為會有一個主要的AI代理,每個人都在同一水平上與之交流。我不認為會有一個模型被每個人使用。
黃仁勛:我們擁有晶片設計的 AI,軟體編碼AI,以及理解我們的軟體編碼 AI,因為我們使用USD為Omniverse項目編碼。我們還有理解vlog的軟體AI,以及理解我們bug並知道如何幫助我們分類bug,將它們發送給正確工程師的軟體AI。
所以每個AI都是從Llama衍生出來的,我們對其進行微調和設置護欄。如果我們有一個專門為晶片設計設計的AI,我們不感興趣問它關於政治和宗教等問題,所以我們設置了護欄。因此,每個公司將為它們擁有的每一個功能擁有AI,他們很可能為這些功能構建AI。
祖克柏:未來人們將面臨的一個問題是,他們將多大程度上使用更大的、更複雜的模型,而不是只為他們的特定用途訓練自己的模型。至少我會打賭,我們將看到大量不同模型的出現。
黃仁勛:我們使用的是最大的模型,原因是我們工程師的時間非常寶貴,現在使用的是405B,這是為性能優化的。405B的規模太大,無法放入任何GPU中,這就是為什麼英偉達性能如此重要的原因,我們的每個GPU都通過這種非阻塞開關連接。
例如,在HGF中,有兩個這樣的例子,我們使所有GPU能夠協同工作,並運行405B,性能卓越。我們之所以這樣做是因為工程師的時間對我們來說非常寶貴,我們想使用最好的模型,即使它的成本效益只高幾美分,我們只是想確保給他們呈現最好的結果質量。
祖克柏:4或5的成本大約是GPT-4o模型推理成本的一半。我認為人們正在設備上做些事情或想要更小的模型,這就像AI運行的完全不同的服務集。
全息眼鏡還有一段時間,AI智能眼鏡現在就來了
黃仁勛:讓我們談談下一個話題,我真的很喜歡你們所做的工作之一「電腦視覺」,我們內部經常使用的模型之一是將一切都分段。
而且你知道我們現在正在影片上訓練AI模型,以便我們能夠理解世界模型、我們的用例、我們的機器人和工業數字化的用例,將這些AI模型連接到全宇宙中,以便我們能夠更好地建模和表示物理世界。
擁有在這些全宇宙世界中運作的機器人。更好的雷朋眼鏡類應用程序,你將AI帶入虛擬世界的願景真的很有趣。告訴我們這件事。我們現在正致力於通過影片訓練AI模型,目的是更深入地理解世界模型。
這包括機器人和工業數字化領域的應用案例,我們將這些AI模型與Omniverse平台相連接,以便更精確地模擬和呈現現實世界。我們就能讓機器人在Omniverse的虛擬世界中順暢地運作。你提到的雷朋的Meta類應用程序,以及將AI技術融入虛擬世界的創新願景,都非常引人入勝,能否詳細分享一下這方面的資訊?
祖克柏:是的,好吧,這裡有很多內容需要展開。你提到的第二個「任何模型」,我們實際上在SIGGRAPH的這個環節展示了它的下一個版本Anything two,現在它已經可以運行了。它的速度更快,而且現在也能處理影片。
利用這項技術可以創造出各種效果,而且因為它將對外開放,所以在工業領域將會有更多重要的應用。科學家們使用這些工具來研究珊瑚礁、自然棲息地,以及景觀的演變等等。但是能夠在影片中實現這一點,並且有A/B鏡頭,能夠與之互動並告訴它你想要跟蹤什麼,這確實是非常酷的研究。
黃仁勛:假設你有一個倉庫,裡面裝滿了攝像頭,倉庫的AI正在監控一切活動。如果一堆箱子倒了,或者有人在地上灑了水,或者無論即將發生什麼事故,AI都能識別出來,生成文本描述,然後發送給相關人員。
這樣,一旦發生緊急情況,幫助就會及時到來。這是一種使用AI的方式,而不是簡單地記錄一切。如果發生事故,它不是記錄每納秒的影片,然後返回並檢索那個時刻,而是只記錄關鍵資訊,因為它專注於重要的事件。擁有一個能夠理解影片的模型,一個影片語言模型,對於所有這些創新應用來說都是非常強大的工具。那麼,除了雷朋項目,你們接下來還計劃做什麼?
祖克柏:當我們考慮下一個計算平台時,我們傾向於將其視為混合現實的世界,包括頭戴設備、智能課程以及智能眼鏡。
人們更容易接受這個概念,因為今天幾乎每個人都戴眼鏡,而這些眼鏡最終都會升級為智能眼鏡。世界上有超過十億人,這將會是一個巨大的變革。VRM是指頭戴設備,有些人可能覺得它對遊戲或其他用途很有趣,而有些人則不這麼認為。
然而,智能課程和混合現實頭戴設備都將存在於我們的世界中,智能課程將類似於移動手機,是下一個計算平台的一種始終在線的版本。而混合現實頭戴設備則將像你的工作站或遊戲機,當你需要更深入的沉浸式體驗和更多的計算能力時使用。眼鏡的體積非常小,因此在形態上有許多限制,就像你不能在手機上完成同樣水平的計算一樣。
黃仁勛:它恰好在所有這些重大突破和生成式AI技術出現的時候問世了。
祖克柏:是的,所以對於智能眼鏡,我們基本上是從兩個方向著手解決這個問題。一方面,我們一直在研發我們認為是理想全息AR眼鏡所需的技術。我們正在進行所有定製矽晶片和顯示堆棧的工作,這些都是為了讓這種技術能夠在眼鏡中得以實現。
這並不是一個頭戴設備,也不像VR或MR頭戴設備。它們看起來像普通眼鏡,但與你現在戴的眼鏡相比,還有一定的差距。那些眼鏡雖然非常薄,但即使是雷朋和我們生產的,目前也還不能將實現全息AR所需的所有技術都集成進去。
不過,在未來幾年裡,我們將越來越接近這個目標。我認為我們會更接近實現它。這個產品仍然會相當昂貴,但我想它將開始成為一個實際的產品。
我們解決這個問題的另一個方法是,從設計精美的眼鏡開始,與世界頂尖的眼鏡製造商合作。他們擁有眾多知名品牌,比如雷朋、Oakley、Oliver Peoples 等,我們與他們合作開發雷朋眼鏡,目前我們已經進入第二代產品。
我們的目標是,首先將智能眼鏡的設計限制為美觀大方,然後在這樣一款眼鏡中,我們儘可能多地集成技術,儘管我們知道可能無法完全達到理想的技術集成狀態。最終它將是一款看起來非常棒的眼鏡。目前,我們已經集成了相機傳感器,所以你可以拍照和錄影片。我甚至可以直播Instagram,你可以在WhatsApp上進行影片通話,並將畫面實時傳輸給對方,它還配備有麥克風和揚聲器。
但後來我們發現,那個傳感器套件恰好是我們與AI交流所需的關鍵。這有點像是意外的收穫。如果你五年前問我,我們會先實現全息AR還是AI?我可能會說,AI可能會先實現。
這一切就像是虛擬和混合現實技術的進步,以及顯示技術的進步。我們正在持續朝著這個方向取得進展。在實現全息AR之前,我們取得了LLDS技術的突破,這讓我們擁有高品質的 AI,並且其發展速度非常快。幸運的是,由於我們一直在開發各種不同的產品,我們現在處於一個非常好的位置。
但我想最終你會看到一系列不同價格點和不同技術水平的潛在眼鏡產品。基於我們現在對雷朋眼鏡的觀察,我猜測在300美元價格點上,無顯示AI技術將是一個非常成功的產品,最終可能有數千萬甚至數億人使用。
雖然我們現在有了這些技術,但在未來,我們不會離得太遠,就能實現虛擬會議,比如,雖然我不在物理位置上,但我的全息圖可以出現,讓人感覺我們都在同一個地方,就像我們物理上都在場一樣。
黃仁勛:我們可以合作開展某項工作,但我認為這對於AI用戶來說將尤為重要,因為可以與一個不必隨時佩戴的設備一起生活。
祖克柏:是的,但我想我們最終會實現這一點。在眼鏡設計中,有更薄的框架和更厚的框架,還有各種風格。我們離擁有全息眼鏡還有一段時間。不過,我認為在一副時尚的、更厚框架的眼鏡中實現這一點並不遙遠。
軟體3.0時代,生成式AI的跨領域影響
黃仁勛:我認為你說得對。Mark我們正經歷一個令人難以置信的時期,整個計算堆棧正在被重新發明,我們思考軟體的方式也在變化。安德烈·卡帕西(Andre Karpathy)將軟體分為 1.0 和 2.0,現在我們基本上已經進入了軟體 3.0 時代。從通用計算到生成性神經網路處理,我們計算的方式發生了根本變化,我們現在能夠開發的應用程序和能力在過去是不可想像的。
生成式AI是我所見過的影響消費者、企業行業和科學速度最快的技術之一,它能夠跨越從氣候技術到生物技術再到物理科學的各個領域。生成式AI正處於這些領域根本轉變的核心。此外生成式AI將在社會中產生深遠的影響,我們正在製造的產品就是證明。
我特別興奮的一件事是,有人之前問過我,是不是會有一個名為「Jensen AI」的產品,這正是你提到的創造性AI,我們只是構建自己的AI。我將自己寫的東西加載進去,並根據我回答問題的方式進行微調。希望隨著時間的推移,這款AI能成為許多人提問或交流想法的優秀助手和伴侶。這將是Jensen的一個版本,就像你之前提到的那樣,它不會評判。因此你不必害怕被評判,可以隨時與它互動。
與你一起工作真的很棒,我知道建立一家公司並不容易,你的公司從桌面轉向移動,到VR,再到AI,所有這些設備。這真的很,真的很,真的很了不起。英偉達也多次轉型,我知道這樣做有多困難,我們都失敗了很多次,但這就是想要成為先鋒和創新的代價,所以看到你的成就真的很棒。
祖克柏:這不僅僅是一個轉型,如果你繼續做你以前做的事情,但同時也在增加新的內容,這一切都有更多的篇章。
黃仁勛:我們確實曾經專注於製造越來越大的設備,而不是更小。這在當時可能看起來有點過時,但現在看來非常酷。我們開始建造圖形處理單元(GPU),祖克柏在他的數據中心使用了大量的 H100,數量接近60萬塊GPU機組。
祖克柏:我們是他的優質客戶,這就是我在SIGGRAPH獲得與Jensen QA的原因。