Esther |
近年來在谷歌、Niantic等推動下，視覺定位對於AR應用的重要性越來越明顯，尤其是在室內導航場景，定位精度可超越傳統GPS方案。為了進一步提升視覺定位、深度視覺地圖構建的準確性，Niantic Labs在CVPR 2023期間公布了ACE方案（Accelerated Coordinate Encoding），中文直譯是加速的坐標編碼，宣稱可實現更高效的視覺定位效果。
實際上，視覺重定位技術已經存在幾十年，傳統的方案通過識別圖像中的關鍵點（邊角輪廓）來構建地圖、生成基於稀疏點雲的3D模型。在重定位階段，傳統方案根據3D點雲來讀取地圖中的關鍵點，並根據相機的位置來對齊3D地圖與環境圖像。而現階段，機器學習、神經網路在電腦視覺領域已經得到廣泛應用，神經網路常用於尋找更好的關鍵點，改進圖像與地圖的匹配結果。
優於傳統DSAC*方案
此前比較常用的視覺定位方案基於DSAC*（可微樣本共識），好處是準確性高，缺點是訓練網路模型需要數小時到數天。DSAC*一次只能處理一張映射圖像，而且需要大量冗餘計算，因此大約需要15小時才能測繪一個場景。
DSAC* 耗時15小時、ACE耗時 5分鐘
這對於大多數AR應用程序來說都是不切實際的，而且擴展成本非常高。相比之下，ACE方案只需要5分鐘就能實現精準的視覺定位， 可將網路訓練速度提高300倍 ，同時保證準確性。
簡單來講，Niantic訓練神經網路學習世界的外觀，然後結合攝影機實現高精度、低成本重定位。據悉，ACE relocalizer目前已經在Lightship VPS系統中使用了一年多時間，已經在全球有20萬個支持VPS重定位的區域，可很好的結合傳統定位技術。
主動學習地圖
與傳統方案不同，ACE可以更好的理解物理場景，完全使用3D地圖來取代神經網路。
逼真可信的AR依賴於高精度的定位，確定用戶設備的位置和視角，並將虛擬內容固定在適當的位置，與物理場景融合。 即使用戶在幾個月後重新訪問該內容，也能在同一位置找到它 。
GPS和IMU傳感器在理想情況下精度可達幾米，但對AR來講不夠精準，誤差還需要降至厘米級 。
ACE在幾分鐘內即可完成地圖創建，重定位過程只需幾毫秒，準確性也相當高 。該方案的重新定位主要分為兩個階段：
1）根據具有已知姿勢的圖像集合構建環境的3D地圖，即映射階段；
2）將新的查詢/訪問圖像與3D地圖匹配，來確定準確的位置和姿態，即重定位階段。
ACE完全用3D地圖代替神經網路，這個3D地圖與所有映射圖像一致，不需要重建點雲。當給出一個新的圖像查詢任務，神經網路可以準確地告訴我們每個像素在場景空間中的對應點，並通過對齊對應關係來推斷相機姿態。
ACE使用的神經網路足夠輕量化， 僅占用4MB內存就能代表整個地圖，在單GPU上運行的速度高達40fps，在常見的智慧型手機上速度可達20fps 。
另外，只需要5分鐘就能從包含姿態數據的RGB圖像中生成3D場景並創建神經地圖，還可以通過一幀RGB圖像來估計相機姿態、重新定位。
為什麼ACE速度快？
DSAC*基於場景坐標回歸框架，是十年前提出的技術。另外，它需要兩個階段的訓練，一次優化一張映射圖像的場景重投影誤差：一張圖像提供了大量用於學習的像素，但具有高度的重投影誤差，損失和梯度也是如此。
相比之下，ACE只需要訓練減少像素級插幀誤差，能同時優化所有映射圖像的地圖，無需處理圖像損失，因此訓練效率更高。
最終的優化非常穩定，Niantic指出：我們訓練ACE的速度可以比5分鐘更快，以獲得仍然可用的結果。訓練時間為甚至可縮短至10秒（不包括20秒的數據準備）。
值得注意的是， ACE可以非常適合較大規模的戶外場景，不過內存占用和較短的映射時間一定程度上限制其功能 。因此， Niantic將較大的場景分成較小的塊，並為每個塊訓練一個ACE模型 。在重定位過程中，每個ACE模型獨立估計一個姿勢，並選擇具有最高內點計數的一個。如果能同時使用多個GPU，訓練ACE模型可以更快速。
參考：
https://nianticlabs.github.io/ace/
每天五分鐘，輕鬆了解前沿科技。
——
