近日，美國專利商標局正式授予蘋果一項專利，該專利與未來可能的 Vision Pro 應用程序有關，該應用程序為藝術家提供虛擬畫布和素描本，提供虛擬擦除和塗抹技術，並可分層進行繪畫或編輯。
蘋果在其新專利中描述了提供交互式電腦生成現實（CGR）環境的技術，該環境用於使用電子系統和設備（如 Apple Vision Pro）在繪畫表面上創建虛擬繪畫，其中 CGR 環境為用戶提供逼真和身臨其境的體驗，同時創建虛擬繪畫，就好像用戶在現實世界中創建真實繪畫一樣。通過這種方式，所描述的技術使用戶能夠在不需要傳統的物理繪畫工具的情況下創建繪畫。
此外，由於繪畫是在 CGR 環境中創建的，所描述的技術允許用戶根據需要輕鬆有效地操作（例如更改、擦除、改變）繪畫的一部分。因此，所描述的技術使用戶能夠體驗在 CGR 環境中創建虛擬圖形，就像用戶在真實環境中創建真實圖形一樣，同時減少與在真實環境中創建真實圖形相關的一些不便。
根據一些實施方案，該專利描述了一種方法。該方法包括：使用一個或多個圖像傳感器檢測包括第一預定義手指方向類型的第一輸入；在檢測到第一輸入時，響應於使用一個或多個圖像傳感器檢測到的手部運動在電腦生成的現實環境中的繪圖表面上繪畫，其中響應於在電腦生成的現實環境中的繪畫表面上繪圖的手部運動，包括在電腦生成的現實環境中的繪畫表面上產生與檢測到的手部運動相對應的視覺效果。
蘋果專利圖 2 顯示了為 Apple Vision Pro 設計的虛擬藝術家應用程序的空白起始畫布；在圖 4 中，我們看到用戶啟動一個手勢，該手勢將調用要使用的工具，例如鉛筆或畫筆；在圖 5 中，我們看到用戶為素描選擇了虛擬鉛筆；在圖 6 中，用戶開始繪製；在圖 7 中蘋果指出，在一些實施方案中，當用戶使用繪畫工具在繪畫表面上提供輸入時，設備 #100a 生成（和/或使頭顯等不同設備生成）一個或多個（視覺和/或音頻）與繪畫相關聯的相應反饋。
進一步參考圖 7，蘋果注意到，在一些實施方案中，反饋包括對應於繪畫工具 #206 在繪畫表面 #202 上的運動的音頻反饋（除了視覺反饋之外或替代於視覺反饋）。在一些實施方案中，如果所選的繪畫工具是鉛筆，則音頻反饋是鉛筆在紙上使用的素描（或塗鴉）聲音。在一些實施方案中，如果選擇的繪畫工具是畫筆，則音頻反饋是畫筆在畫布上使用的刷刷聲。在一些實施方案中，如果所選的繪畫工具是鋼筆，則音頻反饋是鋼筆在紙上使用的塗鴉聲。
在一些實施方案中，聲音反饋的大小對應於由繪畫工具施加到繪畫表面的力的大小。因此，在一些實施方案中，音頻反饋的幅度分別根據在 CGR 環境中由繪畫工具施加到繪畫表面的力的增大和減小而產生變化。
在圖 9 中，我們看到藝術家使用一種新的「張開手掌」手勢，它可以啟動藝術家的調色板，使用各種可用的顏料。其他手勢還可以讓藝術家使用粗細不同的鋼筆或畫筆；在圖 12 中，用戶啟動了「擦除」模式，以更正他們不喜歡的錯誤或筆畫。
如圖 13 所示，藝術家使用兩個手指的手勢用於「塗抹」模式；圖 14 展示了將 CGR 環境繪圖表面 #202 旋轉到側角視圖（從用戶的角度）的設備顯示。在一些實施方案中，圖 #208 包括多個繪畫層（例如，使用至少第一顏色和第二顏色繪製的繪畫，其中在繪畫的部分上將第一顏色施加在第二顏色之上），從而為繪畫提供深度效果，如圖 14 所示。圖層是可編輯的。蘋果是這樣描述的：因為繪畫是在 CGR 環境中創建的，所以所描述的技術允許用戶輕鬆有效地操作（例如更改、擦除、改變）繪畫的一部分。
