神經網路渲染器提高了光線追蹤圖像質量,使用可在採樣光線之間生成更高質量像素的 AI 網路取代需要人工設計的降噪器。
編者注:本文屬於《解碼 AI》系列欄目,該系列的目的是讓技術更加簡單易懂,從而解密 AI,同時向 RTX PC 用戶展示全新硬體、軟體、工具和加速特性。
AI 不斷提高 PC 遊戲品質的上限。
具有光線重建功能的 DLSS 3.5 可以為密集型光線追蹤的遊戲和應用創建更高質量的光線追蹤畫面。這種增強型 AI 賦能的神經網路渲染器是一項突破性功能,它利用經 NVIDIA 超級電腦訓練的 AI 網路取代需要人工設計的降噪器,從而顯著提升所有 GeForce RTX GPU 的光線追蹤圖像質量。該功能可提升光線反射、全局光照和陰影等光照效果,打造更加真實,身臨其境的遊戲體驗。
一束光線,一項突破
光線追蹤作為一種渲染技術,可通過渲染精準物理關係的反射、折射、陰影和間接光照,實現對場景及其中物體光照效果的逼真模擬。光線追蹤通過追蹤觀景式相機(決定場景中的視線)的光線路徑來生成電腦圖形圖像。該路徑會穿過 2D 視平面進入 3D 場景,然後返回光源。例如,如果光線照射到鏡子上,就會生成反射。
而光線追蹤相當於打造現實世界中被光束照亮的物體的數字版本,創造出光從觀察者的眼睛到與光相互作用的物體的路徑。這就是光線追蹤。
以這種方式模擬光線——為螢幕上的每個像素髮射光線——需要大量的計算,即使是對於離線渲染器來說也是如此無論是計算幾分鐘或幾小時內的場景。而另一種方法則是讓光線樣本向場景中的各個點發射少量光線,以獲得場景光照、反射率和陰影的代表性樣本。
然而,這種方式存在局限性。輸出的是帶有間隙和噪聲的斑點圖像,足以確定光線追蹤時場景的外觀如何展現。為了填充未計算光線追蹤的缺失像素,人工設計的降噪器使用兩種不同的方法:在多幀中依時累積像素,或對其進行空間插值以將相鄰像素混合在一起。通過此過程,帶噪聲的原始輸出會被轉換為光線追蹤圖像。經此流程,含噪點的原始輸出結果會被轉換成光線追蹤圖像。
這會增加開發過程的複雜性和成本,並且在大量採用光線追蹤技術的遊戲中會降低幀率。其原因在於此類遊戲會同時運行多個降噪器以實現不同的光照效果。
DLSS 3.5 光線重建技術引入了經 NVIDIA 超級電腦訓練且由 AI 驅動的神經網路,可在採樣光線之間生成更高質量的像素。該技術可識別不同的光線追蹤效果,從而可使用時間和空間數據做出更明智的決策,並保留高頻資訊以實現更高質量的升級。光線重建還可以從訓練數據中識別光照模式 (例如全局光照或環境光遮蔽),並在遊戲中重現該效果。
https://images.nvidia.cn/cn/youtube-replicates/Gg_3-X3d3iY.mp4
「傳送門 (Portal)」RTX 版是光線重建在實際應用中的優秀示例。關閉 DLSS 後,降噪器很難重建轉動的風扇旁邊的動態陰影。
啟用 DLSS 3.5 和光線重建後,降噪器會在 AI 上進行訓練,識別與陰影相關的某些模式並保持圖像穩定,積累準確的像素,同時混合相鄰像素以生成高質量的反射。
深度學習,沉浸遊戲
光線重建只是性能倍增的 DLSS 所使用的 AI 突破性圖形技術的其中之一。作為 DLSS 的基礎,超解析度功能會對多個解析度較低的圖像進行採樣,並使用先前幀的運動數據和反饋來重建原生質量的圖像。這能實現在不犧牲遊戲性能的情況下獲得高質量圖像。
https://images.nvidia.cn/cn/youtube-replicates/GKpURmnNMoA.mp4
DLSS 3 引入了 "幀生成 "功能,通過使用 AI 分析前後幀的數據來預測下一個生成的幀應該是什麼樣子,從而提高性能。然後,這些生成的幀會被插入到已渲染的幀之間。將 DLSS 生成的幀與 DLSS 超解析度相結合,可使 DLSS 3 在 AI 助力下重建所顯示像素數的八分之七。與不使用 DLSS 相比,其幀率最高可提升至原來的 4 倍。
由於 DLSS 幀生成是在 GPU 上進行後處理 (在主渲染後應用) 的,因此即使遊戲受到 CPU 的瓶頸限制,它也能提高幀率。
生成式 AI 正改變各類遊戲、影片會議和互動體驗。請訂閱《解碼 AI》時事通訊,我們每周都會將新鮮資訊直接投遞到您的收件箱。
