近日,AI 眼鏡開發商 Brilliant Labs 宣布推出其帶有集成多模態 AI 助手的「Frame」眼鏡。在宣布這一消息之後,該公司最新的著名投資者和 AR 先驅 Niantic 首席執行官 John Hanke 也給予了支持。
Frame 提供對下一代 AI 的免提訪問,使用戶能夠在輕巧的封裝中增強人類智能,該封裝採用類似於時尚眼鏡的纖薄外形。
Brilliant Labs 表示,Frame 引入了一種新的、另類的與物理世界交互的方式,這種方式通過一個名為「Noa」的永遠在線的 AI 助手得到了增強。據該公司稱,Noa 由一個集成的多模態生成式人工智慧系統提供支持,該系統可以同時運行多個人工智慧模型,能夠進行現實世界的視覺處理、新穎的圖像生成以及實時語音識別和翻譯。
Noa 使用「隱私保護知識圖譜」來分析用戶和 AI 助手之間的複合交互,使 Noa 不僅能夠提供個性化定製的用戶體驗,而且還具有自己的個性。
例如,任務和請求可能包括將一本書的頁面總結為要點,然後將書籍的外語文本翻譯成首選語言;將白板會議構建成可共享的文檔,供同事使用;確定皮膚狀況以推薦現成的軟膏;甚至根據單杯中的營養價值或咖啡因含量建議每天飲用健康的咖啡量。
用戶甚至可以充分利用眼鏡內置的多模態生成式 AI 功能,這意味著 Frame 可以協調多個 AI 系統協同工作以完成更高級的任務。例如,根據 Brilliant Labs 的說法,通過將 GPT4 與 Frame 的前置傳感器、慣性測量單元 (IMU)、麥克風和知識圖譜相結合,這些系統可以聯手在視覺和聽覺上測量情緒和面部線索。
Brilliant Labs 首席執行官兼聯合創始人 Bobak Tavangar 表示:「Frame 為人類與數字世界以及彼此之間的交互方式提供了一種新的範例。Noa 是一種全新的人工智慧虛擬助手,它使用戶能更多與周圍的世界互動,我們希望 Frame 能讓人們以全新的方式相互聯繫,並在日常生活、工作場所、課堂等方面開闢新的體驗。」