Quest 3 開發者現在可以集成三個主要的新功能，以改進虛擬現實和混合現實。
Inside-Out 身體追蹤（IOBT）和 Generative Legs 將於 12 月推出。通過Depth API實現混合現實的遮擋以前是一項實驗性功能，這意味著開發者可以對其進行測試，但無法在 Quest Store 或 App Lab 版本中發布。
這三個功能都作為 Unity 和本機代碼 v60 SDK 的一部分提供。同時，v60 虛幻引擎集成包括Depth API，但不包括 IOBT 或 Generative Legs。
IOBT 使用 Quest 3 的側面攝像頭（面朝下）通過先進的電腦視覺算法追蹤用戶手腕、肘部、肩部和軀幹。
IOBT 可防止逆向運動學（IK）估計手臂位置的問題，這些問題通常是不正確的，並且感覺不舒服，因為系統只是根據用戶頭部和手部的位置進行猜測。當開發者集成 IOBT 時，用戶會看到手臂實際位置，而不是估計值。
這種上半身追蹤還允許開發者將拇指操縱杆運動錨定到身體方向，而不僅僅是頭部或手部，並且可以執行新的動作，例如俯身在壁架上，並在虛擬化身上逼真地顯示此內容。
IOBT 僅適用於用戶上半身。對於下半身運動，Meta 推出了 Generative Legs。
Generative Legs 使用「尖端」的 AI 模型來估計腿部位置，這是該公司多年來一直在研究的一項技術。
在 Quest 3 上，由於使用上半身追蹤作為輸入方式，Generative Legs 提供了比以前的頭顯更真實的估計，它也適用於僅採用頭部和手部追蹤的 Quest Pro 和 Quest 2。
但 Generative Legs 只是一個估計器，而不是追蹤器，所以雖然它可以檢測跳躍和蹲下，但它不會捕捉到很多實際的動作，比如抬起膝蓋。
IOBT 和 Generative Legs 共同實現了 VR 中的全身追蹤，稱為全身合成，無需外部硬體。
Meta 此前宣布，全身合成將適用於《Supernatural》、《Swordsman VR》和《Drunken Bar Fight》。
在外媒的 Quest 3 評測中，嚴厲批評了混合現實動態遮擋的缺乏。雖然虛擬對象可以出現在房間設置掃描生成的原始場景網格後面，但它們總是顯示在移動物體（例如手臂和其他人）的前面，即使距離更遠，這看起來很不自然。
開發者已經可以使用手部追蹤網格為手部實現動態遮擋，但很少有人這樣做，因為手腕與手臂顯示並不完善。
新的 Depth API 為開發者提供了由頭顯角度生成的每幀粗略深度圖。這可用於實現遮擋，既可用於移動對象，也可用於靜態對象的更精細細節，因為這些對象可能尚未在場景網格中捕獲。
動態遮擋將使 Quest 3 上的混合現實看起來更自然。然而，頭顯深度感應解析度非常低，因此它不會捕獲手指之間的空間等細節，而且用戶會在物體邊緣周圍看到一個空隙。
深度圖也只建議利調整到 4 米，之後「精度會顯著下降」，因此開發者可能還希望使用場景網格進行靜態遮擋。
開發者可以通過兩種方式實現遮擋：硬遮擋和軟遮擋。硬遮擋基本上是免費的，但邊緣呈鋸齒狀，而軟遮擋有 GPU 成本，但看起來更好。
不過，在這兩種情況下，遮擋都需要使用 Meta 的特殊遮擋著色器或在自定義著色器中專門實現它。它遠非一鍵式解決方案，對於開發者來說，這可能需要付出巨大的努力。
除了遮擋之外，開發者還可以使用 Depth API 在混合現實中實現基於深度的視覺效果，例如霧。
