當地時間 8 月 19 日,Meta 在開發者部落格詳細介紹了旗下 VR 開發輔助工具 Meta XR Operator。
該工具 7 月 28 日隨 Meta XR SDK v205 以實驗性功能對外放出,藉助 MCP 模型上下文協議對接各類 AI 智能體,讓 AI 具備觀察、操作、校驗 VR 程序的能力,打造出 「編碼運行排錯驗證」 的自動化閉環開發流程。

現階段 AI 編程助手已經可以完成代碼生成、靜態測試與漏洞修復,但在 VR 開發場景存在明顯短板。AI 無法直觀看到虛擬應用畫面,也不能執行空間層級交互,很難判斷代碼修改之後實際運行效果。
Meta XR Operator 正是為補齊該痛點而設計。它部署在應用與 OpenXR 運行時中間層,攔截運行時調用,在不需要改動項目源代碼的前提下,向 AI Agent 開放 XR 運行狀態和輸入控制權限。
依託這套工具,AI 智能體可以實現多項實操能力:抓取模擬器內應用截圖完成視覺觀測;讀取房間幾何數據掌握空間環境;模擬控制器按鍵、搖桿、扳機以及頭部姿態變化;讀取 Unity 場景組件資訊,同時自動執行點擊按鈕、菜單跳轉等 UI 多步驟測試。

Meta 規劃了三大典型工作流。開發者使用自然語言提出需求,AI 自動完成編碼、部署、模擬運行與疊代優化;調試階段 AI 能夠復現故障,定位代碼問題並驗證修復效果;還可實現自然語言驅動的自動化測試,校驗菜單、交互邏輯是否正常。
早期已經和 Beat Games 等團隊開展合作測試,AI 不僅獨立完成 VR 井字棋項目開發,還發現《Beat Saber》菜單中傳統腳本測試難以捕捉的 UI 重疊缺陷。
不過該產品尚處在實驗階段,能力存在不少局限。工具暫時不支持識別精細手指手勢交互,無法獲取音頻流;主要依靠截圖進行視覺判斷,面對動態動畫、移動物體和細微畫面差異識別效果有限。

想要體驗該工具,開發者需要 Unity Editor 6000.0.66f2 LTS 以上版本、Meta XR SDK v205、XR 模擬器,搭配 Claude Code、Cursor 等兼容 MCP 協議的 AI 編程工具。將 AI 能力延伸到三維空間測試環節,有望降低 VR 應用調試成本,為 XR 內容開發提效開闢新方向。






