一名汽車工廠工人能記住自己前一晚將半成品零件放在哪個儲物箱，並能迅速返回取回。但與她並肩工作的機器人，卻難以形成和調用這種"時空記憶"。
如今，麻省理工學院（MIT）的研究人員開發了一種長期記憶框架，讓機器人能夠快速構建並調用對複雜大型環境的詳細心理模型。
未來，這項技術將允許工人直接對機器人助手說"去拿我們昨晚開始組裝的那個零件"，機器人便能完成任務。
這一新方法將先進的地圖表示與機器人在長期運動過程中收集的豐富環境描述相結合，使機器人能夠快速訪問這段記憶，並以自然語言回答關於環境的複雜問題。
該記憶框架在回答問題的準確性上優於現有最先進方法，且運行速度足以支持移動機器人實時使用。
除機器人領域外，這一方法還可應用於增強現實系統，幫助維修工人檢測異常，或協助通勤者進行路線導航。
MIT航空航天系副教授、資訊與決策系統實驗室（LIDS）首席研究員、MIT SPARK實驗室主任盧卡·卡洛內（Luca Carlone）表示："如果我們希望機器人與人類並肩工作、更好地與人類互動，它們就必須說人類的語言。機器人必須像人類一樣對時間和空間進行推理。這正是我們方法的核心——將傳統地圖轉化為基於語言的地圖，讓機器人更容易理解和調用。"
論文的第一作者是MIT研究生 尼可拉斯·戈洛（Nicolas Gorlo），共同作者還有麻省理工學院前研究科學家、現任德國紐倫堡工業大學教授盧卡斯·施密德（Lukas Schmid）。該研究近期在電腦視覺與模式識別會議（CVPR）上正式發表。
時空記憶的構建
記憶使人工智慧系統（如聊天機器人）能夠回答覆雜問題，並對與用戶的歷史交互進行推理。
卡洛內說："我們希望設計一種新型記憶——時空記憶，使AI驅動的機器人能夠記住真實的交互和傳感器觀測數據。就像ChatGPT一樣，但要紮根於現實世界，能夠回答任何關於環境的問題，比如'我把錢包放哪了？'"
為構建這一記憶框架，MIT研究人員將兩個研究方向融合：電腦視覺與機器人地圖構建。
多模態電腦視覺模型能夠理解並詳細描述場景中的物體，但通常一次只能處理單個標註；而機器人地圖構建框架雖能創建整個公寓或大學校園級別的三維地圖，卻往往缺乏對物體的詳細描述，或計算成本極高。
MIT研究人員創建的方法被命名為"任意地點、任意時間、任意時刻的任意描述"（DAAAM），融合了兩者的優點。
使用DAAAM時，機器人在環境中移動，會對所見物體附加豐富的描述。例如，機器人可能會記錄MIT校園內某棟建築叫做Stata中心，採用某種建築風格；或者某個自行車架上停著五輛自行車，其中紅色那輛有一個癟胎。
這些詳細資訊被儲存在以空間為基礎排列的三維地圖表示中，物體按區域分組。這樣，機器人就能記住：那輛有癟胎的紅色自行車停在Stata中心外的自行車架上。
然而，現有技術在捕捉如此豐富的描述時，通常需要幾秒鐘才能標註少數幾個物體。對於實時運行而言，這太慢了——機器人在短短幾分鐘的探索中可能就會看到數百個物體。
卡洛內補充道："機器人構建空間記憶的速度越快，它在環境中執行任務的效率就越高。"
提速的關鍵
為加快處理速度，DAAAM在機器人移動過程中對附近物體進行聚合，並採用優化方法選取關鍵幀進行標註。這些關鍵幀是能最清晰地呈現多個物體的圖像，使系統能夠並行描述多個物體，將計算速度提升十倍。
隨著機器人探索空間，系統將每批標註資訊附加到三維地圖特定位置的多個物體上。
戈洛解釋道："我們對每個物體只標註一次，因此我們的框架能在非常大規模的環境中實時運行。通過將物體聚類為區域，它能回答關於環境中物體和位置的各種查詢。"
系統構建空間記憶後，還需從龐大的物體與描述資料庫中高效檢索資訊。
為此，研究人員使用了一個大語言模型，調用多種工具快速檢索特定資訊，同時減少幻覺現象的發生。這使DAAAM能夠在短短幾秒內準確回答用戶的問題。
例如，當用戶詢問機器人在MIT某棟建築附近看到的某件雕塑時，DAAAM可以使用語義搜索工具根據"雕塑"這一關鍵詞檢索資訊，也可以使用另一工具根據建築位置進行檢索。
經測試與其他方法對比，DAAAM的準確率提升幅度在21%至53%之間，具體取決於問題類型。
未來，研究人員希望進一步擴展DAAAM，使系統能夠捕捉環境中發生的重要事件，並在系統回答中加入置信度評估。
戈洛表示："我們最終希望打造出能夠協助完成任何任務的機器人。通過這一框架，我們正在為實現一個能完成任何指令的通用智能體奠定基礎。"
本研究部分由美國陸軍研究實驗室和海軍研究辦公室資助。卡洛內目前正在亞馬遜擔任訪問學者，但本文描述的工作在MIT完成，與亞馬遜無關。
Q&A
Q1：MIT開發的DAAAM框架是什麼？它能解決什麼問題？
A：DAAAM（任意地點、任意時間、任意時刻的任意描述）是MIT研究人員開發的一種機器人長期時空記憶框架。它能讓機器人在移動過程中對環境中的物體附加豐富描述，並將這些資訊儲存在三維地圖中，從而實現對"物體在哪裡""什麼時候放的"等問題的準確回答，準確率比現有最先進方法提升21%至53%。
Q2：DAAAM框架是如何實現實時運行的？
A：DAAAM通過兩項關鍵技術提升速度：一是在機器人移動過程中聚合附近物體，並用優化算法選取能同時清晰呈現多個物體的關鍵幀進行並行標註，將計算速度提升十倍；二是對每個物體只標註一次，避免重複計算。此外，系統藉助大語言模型調用多種檢索工具，能在幾秒內準確響應用戶查詢。
Q3：DAAAM除了用於機器人，還有哪些應用場景？
A：除機器人領域外，DAAAM還可應用於增強現實系統，例如幫助維修工人快速發現設備異常，或為通勤者提供室內外路線導航支持。研究人員未來還計劃讓系統能夠記錄環境中發生的重要事件，並為回答加入置信度評估，進一步拓展其實用價值。
