據知名科技媒體9to5Mac近日報道，蘋果公司研究團隊與香港大學聯合發布了一項最新研究成果——全新3D渲染框架LGTM（Less Gaussians, Texture More），突破了4K渲染算力的瓶頸，將提升蘋果Vision Pro頭顯的視覺體驗。
在當前的科技大環境下，前饋3D高斯潑濺技術是主流的3D渲染手段之一。它藉助AI的強大能力，能夠快速將2D圖像轉化為多角度的3D場景，為VR和AR等領域帶來了諸多便利。然而，這項技術並非完美無缺。當涉及到4K等高解析度渲染時，算力需求會隨著像素數量的增長呈指數級飆升。隨之而來的便是畫面卡頓、模糊等一系列問題，嚴重影響了用戶的視覺體驗。
而LGTM框架解耦了3D場景的幾何結構與表面紋理。具體來說，採用了兩步走的策略。第一步，由模型從低解析度圖像中學習場景結構，先搭建起穩固的建築框架，確保在2K/4K渲染的情況下，幾何框架能夠保持穩定，不會出現變形或扭曲等問題。第二步，通過獨立網路處理外觀細節，將高解析度的紋理精準地映射到已經搭建好的幾何結構上。通過這種獨特的方式，大幅降低了全鏈路的算力消耗，讓設備在處理高解析度渲染時更加輕鬆自如。
蘋果Vision Pro頭顯作為蘋果公司在空間計算領域的重磅產品，雙眼螢幕總像素約2300萬，單眼解析度超越了4K電視。如此高的顯示規格，對現有的渲染技術提出了巨大的挑戰，現有的渲染技術難以打開Vision Pro這把高規格顯示需求的大鎖。
然而，實際演示的結果卻讓人眼前一亮。當搭載了LGTM框架後，3D場景的紋理細節和文字清晰度得到了顯著提升，畫面效果高度接近真實原圖。更重要的是，它有效解決了高解析度下的性能痛點，讓用戶在使用過程中能夠享受到更流暢、逼真的沉浸式體驗。
此次蘋果與香港大學聯合推出的LGTM渲染框架，不僅為蘋果Vision Pro頭顯帶來了畫質上的提升，更為整個VR/AR設備的高解析度實時渲染提供了全新的解決方案，有望打開空間計算領域視覺體驗進一步升級的大門，推動整個行業朝著更高的水平發展。
