在 4 月中旬，Meta 首席執行官馬克·祖克柏宣布了一項創新的人工智慧虛擬助手功能。一個月後，Meta 成功獲得了一項專利，該專利專注於通過客戶端與伺服器端流程的混合架構，為未來 Quest 頭顯和智能眼鏡集成數字助手。
專利詳細闡述了一種方法，該方法涉及在用戶與虛擬助手 xbot 的互動中，基於 xbot 的推薦向頭顯用戶展示相關建議。這些建議與助手系統即將執行的多個動作緊密相關。在會話期間，系統會實時訪問來自頭戴式設備慣性測量單元（IMU）傳感器的數據，並通過設備上的頭部手勢檢測模型，僅基於 IMU 傳感器信號，精確識別用戶在對話中執行的頭部動作。隨後，助手系統會根據會話中確定的頭部手勢選擇並執行相應的動作。
未來的 Meta 數字助手系統預計將利用這種混合架構，為用戶提供更加便捷和高效的協助。
在具體實施中，助手系統允許佩戴 Quest VR 頭顯或智能眼鏡的用戶通過頭部動作進行響應。通過內置的客戶端頭部動作檢測模型，系統能夠識別頭部手勢，並將其與預定義的指示相匹配，從而理解用戶的意圖。這種檢測過程僅依賴於 IMU 傳感器的輸入，能夠在低延遲和低功耗的情況下，精準推斷用戶的頭部動作，如點頭、搖頭等。
在其他場景中，頭部動作檢測也可能由其他系統負責。例如，頭戴式設備可以獨立進行頭部動作檢測，並將結果提供給助手系統或其他在客戶端上運行的應用。
例如，在 VR 系統中，當用戶佩戴 VR 頭顯時，系統能夠檢測並反饋用戶的頭部動作給助手系統或 VR 應用。同樣，AR 系統也能在用戶佩戴 AR 設備時，實現類似的頭部動作檢測與反饋。
Meta 專利圖 12 詳細展示了一個人工神經網路（ANN）的架構，而圖 2 則揭示了助手系統的典型設計。在特定應用中，助手系統能夠協助用戶獲取各種資訊和服務。用戶可以通過多種模態（如音頻、語音、文本、視覺、圖像、影片、手勢、運動、活動、位置、方向等）與助手系統進行有狀態和多輪對話，以獲取所需的幫助。
作為示例，用戶的輸入可能包括基於語音的音頻輸入，這些輸入會被客戶端系統上的系統音頻 API 處理。該 API 採用一系列技術，如回聲消除、噪音消除、波束形成、用戶語音激活、說話者識別、語音活動檢測（VAD）等，以確保生成的音頻數據易於被助手系統處理。此外，助手系統還支持單模態、多模態和混合/多模態輸入，以滿足不同用戶的需求。
專利圖 7 詳細描繪了基於頭部動作檢測的用戶輔助示例流程，而圖 8C-8E 則展示了針對上下點頭動作的響應示例。
此外，圖 10A-10D 展示了另一個示例場景，即系統如何響應用戶的左右橫向搖頭動作。在這個場景中，用戶正在佩戴 VR 頭顯玩遊戲，而手機可能放在旁邊作為配套設備。當助手系統通知用戶有來電時，用戶可以通過搖頭動作拒絕接聽，而助手系統則會執行相應的操作，並通過 VR 頭顯向用戶反饋結果。
