hi188 | 編輯
在2001年,微軟研究院一位工程師Gordon Bell開始了一段長時間的「生活記錄」(Lifelogging)之旅,他會在胸前、頭頂或是眼鏡腿處佩戴相機,每30秒自動拍攝一張照片,以捕捉自己生命中的瞬間,記錄下他發表的文章、演講,以及家庭活動、即時通訊、電話、備忘錄等內容。
也許是受到Bell的啟發,市面也陸續出現了各種穿戴式相機方案,比如Google Clips、Narrative Clip 2,或是拍照眼鏡Spectacles、Ray-Ban Stories等等。
Narritive Clip 2
時至今日,人們依然在探索可穿戴的相機,不同的是,一些方案選擇與AR交互界面結合。比如近期,Humane聯合創始人Imran Chaudhri公布了一款輕便的穿戴式AR投影儀,特點是搭載了AI驅動的相機和3D深度傳感器,可智能感知周圍環境,並顯示AR界面,支持用空中手勢操控。
不同於AR眼鏡,穿戴式AR投影儀可將信息直接投影在手掌等任何表面,好處是可減少面部負擔,實現一種裸眼AR效果。Humane還支持電腦視覺、AI助手等功能,可通過攝像頭識別真實的物體,並與之產生互動。比如在菜單上顯示評價、分析食品是否健康等等。交互方式上,除了手勢敲擊外,還可以通過語音、設備觸控等其他方式操控UI。有趣的是,你可以單手操作界面,比如在手掌上用單手指快速播放音樂。
SixthSense
實際上,MIT Media Lab在2009年時就曾提出類似的概念設計:SixthSense,這是一個可穿戴AR手勢交互界面,特點是將攝像頭與投影儀結合,將AR投影在真實的物體上,並通過手勢追蹤(SixthSense用標記追蹤手勢)來實現與AR的交互。SixthSense方案依賴額外的計算模塊(比如手機),相比之下Humane為一體式設計,體積可能更小。
接下來我們將詳細講解一下,Humane是一家什麼樣的公司,它又開發了怎樣的產品。
01. 關於Humane
2018年時,前蘋果設計總監Imran Chaudhri和軟體工程總監Bethany Bongiorno成立了一家創新計算公司Humane,該公司宣稱將通過創新計算方式,來探索更理想的人機交互體驗,並暗示在開發某種穿戴式AR設備。
Humane創始人
Chaudhri此前曾為iPhone、Mac、Watch、AirPods等產品設計過交互界面。他表示:我們花費了大量時間來重新構想和設計電腦交互,嘗試了複雜的語音命令和手勢交互,以尋找更自然的人機交互方式。結合AI和AR投影,你可以將周圍的環境變成操作系統,不需要再掏手機查詢信息。
因此,Humane的宗旨是打造「隱形」的人機界面,只需要將小巧的計算模塊戴在胸前,不需要戴眼鏡或頭顯,也能直觀、智能的增強人們的日常生活。Chaudhri表示:AI和環境計算可以讓這成為現實。Humane不看好AR眼鏡,因為AR眼鏡具有侵入性,它將屏幕放在離人眼更近的地方,而且外觀看起來並不自然,甚至可能干擾人和人面對面互動。相反,其認為應該減少屏幕的干擾,用環境計算來讓人與世界更自然的交互。
在今年3月,該公司完成1億美元C輪融資,本輪融資由Kindred Ventures領投,微軟、OpenAI創始人Sam Altman、沃爾沃、LG Technology Ventures、高通、老虎全球管理等參投。截至目前,該公司已累計融資超2.3億美元。
Humane提出優質AI的指導原則(似乎也暗示了產品將深度綁定用戶的生活隱私數據)
Humane還與多家公司達成合作,比如利用微軟的雲計算服務,並在設備中引入OpenAI技術。隨著ChatGPT等技術大受歡迎,未來基於OpenAI技術的穿戴式AR相機也有望受到關注。除此之外,也在和LG、沃爾沃合作,探索AR相機與智能家居、汽車產品的結合。還與韓國SK Networks合作,對產品進行分銷。
另有消息表示,蘋果公司將不會和Humane展開合作,原因之一是Bongiorno和Chaudhri離開蘋果時關係鬧的很僵,其中Chaudhri將團隊工作成果歸功到自己身上。當然,這一消息仍不確定真假。
02. 穿戴式AR投影儀
在早前申請的專利中,Humane已經描述了某種基於安卓系統的可穿戴AR設備,它的特點是通過基於雷射投影,可在任何表面上顯示AR圖像。還搭載3D攝像頭和深度傳感器(LiDAR、ToF),可識別空中手勢、3D場景。
投資者大會曝光圖
目前,Humane還未公開首款設備的參數,不過從專利來看,或採用自帶光學圖像穩定器的180°FOV廣角攝像頭,生活片段可上雲AI實時處理,支持生活記錄直播,或者生活片段(記憶)搜索,具有上下文感知能力,看上去像是一個讓AI記憶你的生活的設備,兼具直播、實時監測、回憶事件等模式。
該方案可以將AR界面投影到你的手掌上,顯示時間/日期、數字鍵盤、導航、溫度/恆溫器UI等信息,在你不需要時則停止投影。除此之外,也可以將AR投影到你工作的檯面上,協助烹飪、汽車修理等任務,比如標記對象、並提供與對象相關的文本或指令。
簡單來講,可以將它看作是一種全新的可穿戴設備和平台,完全基於AI構建,可模擬人與世界互動的方式,無需再依賴傳統屏幕。Chaudhri表示:我們的首台設備將充分利用AI,並將這項技術用於任何場景。
投資者大會曝光圖
它可以獨立運行,無需和智慧型手機等其他設備配對。考慮到高通為Humane投資方和合作夥伴,其AR設備可能也基於高通晶片。你可以將Humane AR模塊別在外套或襯衫上,高度剛好適合將AR顯示在你眼前位置。它有有三種固定方式,可根據不同材質的服裝採用夾子、胸針或磁吸設計。
專利中還涉及到雲計算的用法,比如相機捕捉到的多媒體數據可上傳至雲端,並通過AI來分析上下文,轉化為各種格式,比如圖像、影片剪輯、音頻剪輯、多媒體演示、圖片庫等等,並在可穿戴設備上下載和重放。
Humame在專利中指出,儘管移動設備自帶攝像頭很方便,但它通常不能很快的抓拍精彩瞬間,因為拿出手機打開相機還需要一個過程。相比之下,穿戴式相機可能只需要一個手勢就能快速抓拍。不過缺點是,你不能靈敏的控制拍攝角度,這也是此前Google Clips存在的一個問題。
Humane在專利中指出,使用專業攝影圖像數據來訓練機器學習模型,可以更好的裁剪和編輯照片(還能自動匹配濾鏡),從而優化拍攝效果。
據了解,Google Clips也是類似的穿戴式相機,賣點是可以自動選擇場景,幫你按快門,Humane的區別是結合了AR顯示。不過這樣的穿戴式相機可能會被認為是侵犯隱私。而且訓練AI算法也需要大量數據。
03. 應用場景
Humane可以像手機一樣支持多種功能,區別是它將屏幕顯示改為AR投影,省去了屏幕意味著整機尺寸更小。此外,Humane結合AI來優化UI,可以更智能的根據上下文調用不同的功能,比如在公交卡上顯示餘額等。在專利中,Humane還設想用AR將數字鍵投影在手掌上,並用另一隻手觸摸撥號的場景。
在近期舉行的TEDTalk2023演講中,Chaudhri展示了Humane AR模塊在接打電話、信息提示、實時翻譯、會議記錄、備忘錄、日曆、導航等場景的應用,都是一些比較實用的場景。
理論上,Humane的AR投影方案還可以用來看電影,不過現階段在清晰度、色彩、圖像扭曲等方面依然有局限,雖然可以將電影投影在手掌上觀看,但效果顯然不如手機理想。
在生活記錄方面,Humane可結合AI來剪輯成不同的風格(紀錄片、生活方式、抓拍、新聞攝影、體育、街頭),或是用於直播、遠程監控等等。
Humane表示:將AR和AI應用於生活,用來增強人類,在AI、ML和CV推動下,帶領人類走進計算的下一個階段。更重要的是,通過這種方式讓計算界面變得「不可見」,更融入周圍的環境,不干擾人與自然的互動,「讓科技回歸幕後」,讓人類找回原本的生活方式。
接下來,Humane計劃在今年發布首款產品,Chaudhri承諾會在未來幾個月內公布更多細節。
參考:
https://hu.ma.ne
https://www.theverge.com/2023/3/9/23631911/humane-apple-startup-wearable-camera-artificial-intelligence-series-c-funding-round
https://vrscout.com/news/humanes-ai-wearable-displays-digital-info-irl
https://xrgoespop.com/home/humane
https://daringfireball.net/linked/2023/03/08/humane-100-million-microsoft-openai
每天五分鐘,輕鬆了解前沿科技。
——