近日,Reality Labs Research 發布了 SceneScript,這是一種生成場景布局和使用語言表示場景的新方法。
SceneScript 不是使用硬編碼規則將原始視覺數據轉換為房間建築元素的近似值,而是通過端到端機器學習直接推斷房間的幾何形狀。
通過向網路提供大量訓練數據,SceneScript 模型學習如何將可視化數據編碼為場景的基本表示,然後將其解碼為描述房間布局的語言。這允許 SceneScript 從可視化數據中解釋和重建複雜的環境,並創建文本描述,有效地描述它所分析的場景的結構。
SceneScript 的一個優勢是其可擴展性,只需向環境數據集中表示門的場景語言添加一些附加參數,就可以訓練網路準確預測物理環境中門打開或關閉的程度。
此外,通過向建築語言添加新的特性,SceneScript 可以準確地預測對象的位置,並進一步將這些對象分解為它們的組成部分。
例如,沙發可以在 SceneScript 語言中表示為一組幾何形狀,包括靠墊、腿和扶手。這種細節級別最終可以被設計師用來創建 AR 內容,真正為廣泛的物理環境定製。
目前消費者還無法在 Quest 3 或 Ray-Ban Meta 智能眼鏡上使用 SceneScript,顯然,Meta 的研究為即將推出的 AR 眼鏡勾勒了一個新的前景。