自從2012年AlexNet在一台雙路GTX 580的PC上完成訓練、發布論文並震驚世界以來，基於以CUDA為代表的GPGPU工具棧的深度學習神經網路技術不斷發展，如今已經成為包括ChatGPT在內的一眾LLM等AI應用的基石。而作為AI算力的先驅者，NVIDIA的GeForce遊戲GPU自從GeForce RTX 20系加入用於加速神經網路的Tensor Core以來更是在AI加速應用的道路上猛踩油門。從最早僅僅是降低實際渲染解析度的DLSS深度學習超級採樣技術，到如今全套的AI PC技術棧，NVIDIA RTX AI技術正在將AI推進到個人電腦的方方面面。
2024年7月11日，NVIDIA在上海召開了GeForce RTX 40系列媒體品鑑會，分享了NVIDIA RTX AI技術如何賦能更先進的RTX AI PC的諸多細節。根據官方提供的數據，目前RTX AI PC裝機量已突破1億台，各大OEM還提供了超過兩百款RTX AI筆記本電腦可供玩家選購。同時，已經有超過500款遊戲和應用已經支持了RTX AI加速，同時還能夠為用戶提供從200-1300 AI TOPS的強大RTX AI大算力，實現相當可觀的AI性能釋放。
在會場上，我們看到了來自多家不同廠商的筆記本電腦與RTX AI PC，囊括了各種品類，十分豐富。
DLSS：次世代圖形技術就在指尖
自從DLSS技術首次在GeForce RTX 20系 GPU上與玩家見面以來，這項基於深度學習超級採樣的技術就廣受玩家好評，而到了GeForce RTX 40系GPU又推出基於AI加速的DLSS 3幀生成技術更是進一步提高了PC遊戲的性能表現。目前，支持NVIDIA DLSS技術的遊戲已經突破400款，且數量還在不斷增加；支持DLSS 3幀生成技術的遊戲也突破了90款。
在本次GeForce RTX 40系媒體品鑑會，NVIDIA也分享了幾款支持這些最新圖形技術的遊戲，例如來自騰訊的《三角洲行動》是一款設定在2035年的第一人稱特戰幹員戰術射擊遊戲。支持跨端免費遊玩。擁有25年歷史的經典射擊鼻祖再次回歸，這一次行動難度升級。這款遊戲支持光線追蹤反射、NVIDIA DLSS 3幀生成技術與NVIDIA Reflex低延遲技術，能夠獲得最佳的電競遊玩體驗。
從NVIDIA官方提供的截圖中，我們可以看到開啟光線追蹤後遊戲的畫面相當精美，無論是步槍上瞄準鏡目鏡對身後世界的反射還是面前油罐倒地殘油散落在地面上的反光都栩栩如生。可以說，對於這樣一款複雜的競技遊戲來說，光線追蹤技術顯著增強了遊戲的沉浸感。
除了《三角洲行動》之外，本次一併展出的還有《鳴潮》、《解限機》、《漫威爭鋒》等多款支持DLSS 3技術的遊戲作品。
NVIDIA App：AI濾鏡與統一控制中心
自從GeForce Experience推出以來，這套工具與NVIDIA驅動控制面板之間在定位和功能上的衝突讓玩家們左右為難。好在，隨著NVIDIA App的推出，許多困擾玩家的問題自然就迎刃而解了。在NVIDIA App里玩家無需登入即可更新驅動、優化遊戲與應用性能、通過錄像工具捕捉精彩時刻之外，本次GeForce RTX 40系媒體品鑑會還展示了兩個基於AI的內置遊戲濾鏡，RTX 動態亮麗與RTX HDR。前者可以通過AI算法提升畫面的視覺清晰度，讓玩家在每款遊戲中都能更好地區分遊戲內元素；後者則可以將SDR遊戲升格成HDR遊戲，只需要使用兼容HDR的顯示器就能夠實現艷麗的HDR視覺效果，對於老遊戲愛好者來說能夠帶來相當出色的體驗。
ChatRTX：用戶自己的本地LLM工具
現在各種大語言模型工具已經不是新鮮事了，但ChatRTX的特色在於它能夠將有效利用你電腦上的個人資料當作數據集，從你的資料中進行搜索並回答問題。它基於NVIDIA TensorRT-LLM技術，將生成式 AI 功能引入 RTX AI PC。用戶可快速輕鬆地將個人電腦上的資料當成數據集，連接到ChatGLM這一類開源大語言模型，以便快速查詢、生成個性化的內容。此外，ChatRTX的所有大語言模型都在本地運行，完全不上網，這意味著像我們這樣經常會處理需要簽署保密協議的資料的用戶也可以放心地查詢自己的資料，讓ChatRTX快速提供安全的回覆，能夠帶來極大的效率提升。
NVIDIA ACE：NPC真的在跟你交互
無論是像《異塵餘生》、《駭客入侵》、《電馭叛客2077》這樣的開放世界遊戲還是像《決勝時刻》、《榮譽勳章》這樣的線性遊戲，也無論是像普萊斯隊長、傑克這樣的重要劇情人物還是你在路上看到的NPC或小兵，傳統遊戲開發範式都要求開發者針對每個角色編寫對應的台本、錄音並進行動畫優化，這極大地拖慢了開發者的開發效率，但又是為了創造一個高度真實可信、具有沉浸感的世界所必不可少的。儘管如此，這樣手動編寫所有對話的方式也必然不可能創建出真正具有靈魂的NPC，無論是玩家角色的發問還是NPC的回答都完全可預期，如果在UI設計或配音/動畫方面再固步自封一點，自然就會指向如《異塵餘生4》這樣的社區笑柄。因此，隨著AI技術的發展，NVIDIA ACE這樣利用生成式 AI 讓數字人、NPC 和交互式虛擬形象栩栩如生的技術自然就應運而生。
本次GeForce RTX 40系媒體品鑑會中展示的Covert Protocol 是由 Inworld AI 與 NVIDIA 合作創建的一項技術演示，它突破了 NPC 交互的界限。該技術演示使用 Inworld 的 AI 引擎，該引擎集成了 Riva 自動語音識別功能，可實現準確的語音轉文本，並集成了 NVIDIA Audio2Face 以提供逼真的面部動畫。玩家需要扮演一個私家偵探，與三個具有不同個性、動機與背景的NPC互動，並從他們手中獲取目標的房間號以推進劇情。NVIDIA ACE和Inworld AI引擎能夠使玩家與NPC進行完全動態的交互，整個故事的敘事完全由玩家選擇驅動，並能夠被可交互的環境對象影響。開發者只需要針對NPC的人設進行定製，剩下的工作就能全部交給AI，並且完全在玩家的PC上本地運行。目前，NVIDIA ACE技術已經有來自米哈游、網易遊戲、完美世界遊戲、騰訊和育碧等國內外遊戲開發商採用，令人無比期待未來的開放世界/沉浸式模擬遊戲能夠帶來怎樣的沉浸感。
G-Assist項目：真的能幫你幹活的實時AI助手
在2017年的愚人節，NVIDIA宣布了一項叫做GTX G-Assist的AI助手，這個U盤形態的小東西能夠通過AI算法在《彩虹六號：圍攻》等電競遊戲裡模擬玩家操作讓玩家能去應快遞、在《黑暗之魂3》中通過參考玩家操作精準拿下BOSS，或幫助玩家在關鍵時刻點外賣以確保遊戲打完剛好外賣送到。當然，這只是一個愚人節段子，但隨著G-Assist項目的正式發布，似乎我們離這個段子越來越近了。這項技術Demo能夠通過AI助手實時增強遊戲與應用的使用體驗，基於對遊戲環境的感知，根據玩家的遊戲進程提供針對性的回覆。同時，玩家也可以使用G-Assist項目去了解機器現在的運行狀態，幫助玩家去優化設置。儘管目前這項技術還僅僅處於Demo階段，但NVIDIA已經在著手為開發者提供在遊戲與應用中部署這些AI助手的工具包和框架，相信在不遠的將來我們就能夠看到它在實際應用中的表現了。
目前，NVIDIA官方影片給出的演示基於《方舟：生存飛升》遊戲。這款基於虛幻5引擎打造的遊戲是《方舟：生存進化》的續作，玩家需要在滿是恐龍的世界裡設法生存下去。開放世界 低指引的特性讓玩家在剛進入遊戲時難免一頭霧水，此時G-Assist項目就能幫上大忙。例如，玩家可以向G-Assist項目詢問是否應躲避螢幕上出現的恐龍，或採用不同的方法來控制特定的猛獸、根據玩家現在的狀態建議下一步的操作，或指向更多的相關資料。
另外一個基於《電馭叛客2077》遊戲的Demo展示了G-Assist項目如何幫助玩家實現性能調優。在這款圖形技術高度先進且性能要求較高的遊戲中，G-Assist項目可以幫助玩家跟蹤幀率、用電量、PC 延遲和其他硬體統計數據，並繪製相應圖表。當玩家輸入相關提示時，它還能就如何改善這些指標提出建議。
除了簡單的建議之外，G-Assist項目還能夠幫用戶智能地尋找提高能效比的方式，例如在保持目標幀率的同時動態降低 GPU 的電壓。例如，在這個演示中，G-Assist項目將GPU的電壓從1075mV降低到875mV，整體功耗從272W降低到173W，提升幅度就很顯著。當然，在具體使用中的幅度仍然需要視GPU本身晶片體質、遊戲負載等因素考量。
除此之外，G-Assist項目還能夠幫助玩家進一步優化系統配置，例如掃描用戶系統，查看是否有任何異常情況，比如沒有充分利用顯示器的解析度、刷新率或其他功能，包括 HDR 和 G-SYNC。當然，作為一個AI助手，G-Assist項目也能夠回答玩家的各種問題，說明各項設置的用途及其對性能的預期影響。例如，它可以解釋 DLAA 與 DLSS 的區別，或者解釋 NVIDIA 控制面板中的「超低延遲模式」與 NVIDIA Reflex 遊戲內選項之間的差異。
RTX Video：實時AI影片增強，觀影體驗更上一層樓
除了G-Assist項目之外，RTX Video技術也在本次的GeForce RTX 40系媒體品鑑會中占據相當大的篇幅。除了我們之前已經介紹過的RTX影片超解析度（RTX VSR）技術之外，RTX Video這套完整的AI影片增強技術棧還包含了RTX Video HDR這項自動HDR技術，能夠將SDR規格的影片內容通過AI計算轉換成HDR10標準的高動態範圍影片，能夠顯著增強視覺效果，讓畫面更加鮮艷生動。目前，除了在Google Chrome、Microsoft Edge、Mozilia Firefox三款主流瀏覽器與VideoLAN VLC影片播放器中體驗由RTX Video帶來的4K HDR視覺體驗，還能夠在萬興喵影與DaVinci Resolve兩款熱門影片創作工具中使用RTX Video將SDR影片項目直接轉換成HDR影片進行剪輯，方便用戶創作更精美的影片項目。
NVIDIA Studio：全AI創意工作流
本次GeForce RTX 40系媒體品鑑會中，NVIDIA還請來了著名的特效UP主特效小哥008帶來一部由生成式AI 輔助製作的特效短片《特效小哥大戰系列之大戰河野華》。從使用ComfyUI這個全球第二大、同時也是增長最快的，基於Stable Diffusion的AI應用製作的高質量貼圖到TripoSR實現的3D模型，生成式AI顯著提升了整個特效短片的前期資產製作效率。而在渲染中，使用RTX GPU利用NVIDIA OptiX加速的Blender Cycles渲染器能夠在在AI計算下少量採樣的前提下，為建模和動畫提供實時的交互式、照片級寫實的降噪畫面效果，可以說是目前Blender平台最佳的渲染後端了。除了上述的這些應用之外，NVIDIA Studio加速生態還超過120款創意軟體，讓創作者如虎添翼，像特效小哥一樣輕鬆應對AI創意挑戰。
除了特效影片之外，本次品鑑會還有另一個應用了AI加速的展示：超人（SuperHero）Demo。它同樣使用ComfyUI進行。通過NVIDIA RTX GPU上的CUDA生態與TensorRT加速，配合InstantID、IPAdapter和ControlNet等一系列細節控制技術，這套工作流能夠從攝像頭捕捉用戶形象，並根據參考圖像和提示詞實時生成高清超級英雄形象。對於創意工作者，尤其是角色設計、服裝設計等領域的工作者來說來說，只需修改幾個參數就能夠生成多樣化的參考設計，帶來無限可能。
總結
從這次GeForce RTX 40系媒體品鑑會展示的諸多AI加速項目演示來看，基於NVIDIA RTX GPU的AI PC應用生態體系已經相當完備。無論是遊戲玩家使用DLSS增強遊戲畫面表現與性能表現，還是影視觀眾與創作者使用RTV Video實現觀影與創作體驗的實時進化；無論是用於在浩如煙海的個人資料庫中快速找到對應的資訊的ChatRTX還是即將上線的G-Assist項目；無論是能方便用戶更新驅動、性能調優的NVIDIA App還是全套基於AI實現的NVIDIA Studio創意工作流，NVIDIA在加速計算上十年如一日的投入帶來的這套堪稱全場景覆蓋的AI PC應用生態體系，搭配完善的文檔與開發者支持體系可以說在行業內無人能敵。同時，一億台的RTX AI PC裝機量搭配超過兩百款市售RTX AI筆記本電腦與更多合作夥伴推出的RTX AI PC產品讓RTX AI PC體系也在不斷吸引更多的用戶與開發者進入。儘管AGI目前仍然是科幻作家與研究者心目中的聖杯，但對於想在今天就把AI技術引入工作生活的人們來說，NVIDIA RTX AI PC平台仍然是最好的選擇，甚至會顛覆你對傳統PC的老舊認知。
