2021 年，蘋果申請了一項名為「基於房間掃描的平面圖生成」的專利。然後在 2022 年，蘋果推出了「RoomPlan」，這是一種新的 Swift API，利用 iPhone 和 iPad 上的攝影機和LiDAR掃描儀來創建房間的 3D 平面圖，包括尺寸和家具類型等關鍵特徵。
近日，美國專利商標局授予了蘋果公司這項專利，該專利涵蓋了使用基於傳感器數據生成的物理環境 3D 表示來生成平面圖和測量的設備、系統和方法。
蘋果專利涵蓋使用物理環境的 3D 表示生成平面圖和測量的設備、系統和方法。物理環境的 3D 表示可以基於傳感器數據生成，例如圖像和深度傳感器數據。在一些實施方案中，使用物理環境的語義標記 3D 表示有助於生成平面圖和測量值。一些實施方案對物理環境的 3D 點雲執行語義分割和標記。本文公開的技術可以通過使用語義 3D 表示來實現各種優點，例如將語義標註的 3D 點雲編碼到 2D 橫向域上。在 2D 橫向域中使用語義 3D 表示有助於有效識別用於生成平面圖或測量的結構。
該專利指出，平面圖可以以各種格式提供。在某些實施方案中，平面圖包括房間的 2D 俯視圖。平面圖可以圖形方式描繪房間的邊界，例如，通過使用線條或其他圖形特徵以圖形方式描繪牆壁、障礙物或房間範圍的其他限制。平面圖可以圖形方式描繪牆壁邊緣、門和窗等牆壁特徵的位置和幾何形狀。平面圖可以圖形方式描繪房間內的物體，例如沙發、桌子、椅子、電器等。平面圖可能包括標識房間中的邊界、牆壁、門、窗和物體的標識符，例如，包括標識此類元素的文本標籤或參考標記。平面圖可能包括對房間中邊界、牆壁邊緣、門、窗和物體的測量指示，例如，包括指定牆壁長度、桌子直徑、窗戶寬度等的數字。
根據某些實施方案，基於執行房間掃描的用戶創建平面圖，例如，移動移動設備以捕獲房間中用戶周圍的圖像和深度數據。一些實施方案在房間掃描期間提供初步 2D 平面圖的預覽。例如，當用戶在捕獲傳感器數據的房間中走動時，用戶的設備可能會顯示正在生成的初步 2D 平面圖的預覽。預覽是「實時」的，因為它是在持續捕獲用於生成初步 2D 平面圖的數據流或數據集期間提供的。
要啟用初步2D平面圖的實時預覽，預覽的生成方式（至少在最初）可能與最終掃描後平面圖不同。在一個示例中，預覽是在沒有某些後處理技術（例如，微調、角校正等）的情況下生成的，這些技術用於生成最終的掃描後平面圖。在其他示例中，實時預覽可以使用計算密集度低於生成最終掃描後平面圖的神經網路。使用 2D 語義數據（例如，針對房間的不同層）也可以有助於使預覽確定對於實時顯示足夠有效。
在一些實施方案中，可以基於單獨識別牆結構（例如，牆邊緣、門和窗）和檢測對象（例如，家具、電器等）的邊界框來生成平面圖。可以分別檢測牆體結構和物體，從而使用不同的技術和結果組合，以生成代表牆體結構和物體的平面圖。
在某些實施方案中，平面圖創建流程根據多層3D語義數據編碼的2D表示法來識別牆體結構（例如牆邊）。例如，3D 語義數據可以分割成多個水平層，用於識別房間牆壁邊緣所在的位置。
蘋果專利圖 1 是示例操作環境 #100 的框圖。用戶可以用 iPhone、iPad 或 Apple Vision Pro 掃描房間；圖 4 是使用基於深度和光強度圖像資訊的 3D 數據和語義分割生成語義 3D 表示的示例系統流程圖；圖 6 是基於物理環境的 3D 表示生成物理環境的 2D 平面圖的實時預覽的示例系統流程圖。
