在XR技術不斷發展的進程中，XR系統對物理世界的映射與理解能力日益增強，然而，與這些混合呈現的場景進行有效交互卻依舊困難重重。當下，人們在追求「自然」輸入方式的道路上，面臨著諸多權衡難題。觸控操作雖貼近日常習慣，但受人體活動範圍限制，長時間使用還易引發疲勞；視線追蹤雖具有獨特優勢，卻往往難以滿足精細交互所需的精度要求。
為了填補這一交互領域的空白，谷歌研發團隊精心打造了「World Mouse」——一種具有創新性的跨現實光標，對人們熟悉的2D桌面鼠標進行了重新詮釋，使其能夠完美適配複雜的3D場景，為XR交互帶來了全新的可能。
「World Mouse」系統的運行依賴於兩大核心機制。其一為「物體內部交互」，該機制藉助物體表面法線，實現了光標在物體表面的精準定位。無論物體表面多麼複雜，光標都能如靈動的精靈般，準確跟隨用戶的操作意圖。其二為「物體間導航」，通過先進的插值技術，它能夠輕鬆實現對空曠空間的穿越。這意味著用戶在不同物體之間移動光標時，不再受到空間距離的限制，操作更加流暢自然。
與以往那些僅局限於虛擬環境的交互方案不同，「World Mouse」運用語義分割和網格重建技術，將物理對象地轉化為交互表面。通過一系列精心設計的原型演示，包括對物體的精細操作以及從螢幕到現實世界的自然過渡，谷歌充分展示了跨現實光標如何實現真實與虛擬環境之間的無縫交互。
研究團隊進一步將桌面鼠標適配到混合跨現實環境之中，這種環境同時包含真實與虛擬的可交互元素。他們利用混合場景圖，將2D鼠標移動精準映射為跨越空間分布的物體、環境和界面的3D交互。
具體而言，該方法基於兩個核心要點。在對象內部交互方面，遵循光柵化邏輯，能夠精確追蹤鼠標在單個對象3D表面上的2D移動，確保每一次操作都能得到精準響應。而在物體間導航方面，通過利用一種在相鄰物體之間進行插值的「隱形網格」，實現了在不相連元素間的流暢移動。用戶無需再為在不同物體之間切換而煩惱，只需輕鬆移動鼠標，就能在不同尺度和深度的物體間自由導航。
