人類天生就具有直覺能力，我們可以感知超越字面詞語的更深層含義。現在，麻省理工學院工程師開發的一款人工智慧輔助學習平台，正讓機器人能夠從人類自然語言指令中解讀出更豐富的含義。
在本月舉行的機器人學習年會上，麻省理工學院與紐約大學的研究人員將發布一項研究，介紹了FLEX
——一種用於機器人運動規劃的靈活特徵編輯流程。
藉助FLEX，人類可以通過自然的對話式語言向機器人下達指令。機器人不僅能按字面意思執行指令，還能深入理解詞語背後的含義，從而得出更廣泛的推斷，進而提升其運動規劃任務的表現。
研究團隊在多個模擬場景中展示了FLEX的效果，其中一個場景是機器人端咖啡。在這些虛擬場景中，人通過輸入自然語言指令與機械臂進行交互。當機器人在雜亂的桌面上移動咖啡杯時，人可能會輸入「別灑在筆記本電腦上！」作為回應，機器人會推理為什麼應該避開筆記本電腦。為此，FLEX引入了大語言模型——這是一種基於海量文本庫（包括社交媒體帖子、影片字幕和網頁內容）訓練的AI系統，大語言模型利用這些數據來識別更廣泛的趨勢、模式和歸納規律。
「大語言模型已經閱讀過網際網路上海量的文本，」該研究的作者、麻省理工學院電腦科學與人工智慧實驗室（CSAIL）博士後內森·丹勒（Nathan Dennler）說道。「可能有人寫過類似『哦，我的手機掉進水裡了，現在壞了』，或者『我把咖啡灑在電腦上了，現在它不能用了』這樣的內容。因此，大語言模型會捕捉到這樣一種概念：液體加上設備會導致設備損壞。」
通過大語言模型，機器人推斷出它也應該避免碰撞所有電子設備。在更新後的路徑中，機器人會同時避開筆記本電腦和附近的手機，而無需人明確說明這一點。
「這裡的核心理念是，你說出的話背後存在某種更高層次的意圖，」丹勒說。「人類自然而然就能理解這一點。但要讓機器人也理解，就必須仔細地解釋清楚，這需要耗費時間和精力。FLEX提供了一種與機器人溝通的接口，讓你可以告訴它，『當人們這樣說的時候，他們的意思是那樣。』」
這項研究由麻省理工學院航空航天系助理教授安德里亞·博布（Andreea Bobu）主導。合著者包括紐約大學的奧德麗·李（Audrey Lee）和伊利亞·蘇霍盧茨基（Ilia Sucholutsky）。
超越言語本身
在麻省理工學院，博布領導著協作學習與自主研究實驗室（CLEAR實驗室），她的團隊致力於開發能夠為人類服務、與人類協作並在人類周圍自主運行的智能體。她專注於開發能夠執行物理任務的輔助型和家用機器人，使其能夠根據人類自然的對話式指令進行實時推理和適應。
「機器人使用數學方法進行軌跡規劃。但我們不能指望消費者學會這套數學知識，才能告訴機器人該做什麼，」丹勒說，他也是CLEAR實驗室的成員。「與讓人們學習以特定方式使用機器人相比，我們的目標是通過自然語言與機器人進行交互。」
機器人學界正投入大量精力，將自然語言融入機器人學習流程。目前已有多種策略，包括利用語言來明確任務目標、重新引導機器人的運動軌跡，以及更新機器人對安全路徑的理解。這些現有方法主要利用自然語言告訴機器人如何在物理層面執行任務。但機器人實際上能從我們所說的話中學到更多。
博布及其同事正在擴展機器人能從自然語言指令中學習的內容範圍。在這項新研究中，他們專注於讓機器人能夠從有限的自然語言指令中，解讀出用戶未明確表達的潛在偏好。
吸收常識
該團隊推出的新型機器人學習平台FLEX，是一個三步流程，幫助機器人從自然語言指令中解讀出比字面指令更豐富的資訊。
第一步「添加」，指示機器人根據用戶的自然語言指令，將某個特徵添加到其環境中與當前任務相關的事物清單里。例如，當機器人將保齡球從一個地方移動到另一個地方時，有人可能會插話說「別把它掉在我的杯子上！」機器人隨即會將杯子加入到其運動路徑中需要避開的事物清單中。這第一步正是以往方法的工作方式。每當人做出一次修正，機器人就會在特徵清單中新增一項，並更新其軌跡以避開這些特徵。
「問題出現在當你的特徵清單變得極其冗長時，而其中一些特徵可能已不再適用，因為你的環境可能已經發生了變化，」丹勒說道，他指出，如果人必須明確指定每一個需要避開的具體特徵，這種方法會變得十分繁瑣。
第二步「歸納」，是FLEX所提供的新穎解決方案。這一步引入了大語言模型——在本研究中使用的是GPT-4o——它會綜合考慮杯子以及此前用戶已明確要求避開的其他特徵。大語言模型會自動在其龐大的資料庫中搜索這些特徵之間的模式與關聯，最終得出歸納結論：即便用戶沒有明確說明，機器人也應該避開易碎物品。
「大語言模型已經閱讀過網際網路上來自各類人群和各種場景的海量文本，」丹勒說。「正因為經過了如此大量的訓練，一部分常識性知識便被吸收進了大語言模型之中。」
第三步「隱藏」，機器人的標準電腦視覺系統會評估其所處環境，判斷哪些物體已不再存在，然後將這些物體從特徵清單中刪除。整個三步流程大約耗時五秒鐘。
研究團隊在模擬環境中測試了FLEX，讓機械臂執行三項不同任務：端送咖啡、移動蠟燭以及搬運保齡球。在這三個場景中，志願者通過輸入自然語言指令與虛擬機器人進行交互，例如「別灑在我的筆記本電腦上」「遠離那堆紙」以及「別把它掉在杯子上」。藉助FLEX，機器人不僅字面執行了全部三條指令，還進行了更高層次的推理：避免液體濺到電子設備上、遠離易燃物品，以及不將所攜帶的物品掉落在易碎物體上。
「每個人的家都不一樣，每個人關心的事情也各不相同，因此沒有一台機器人一出廠就知道什麼對你來說是重要的，」博布說。「讓我對FLEX感到興奮的地方在於，它能夠從一兩句話中領會到這一點，而不需要你把每一條規則都詳細說明——這正是人們勉強忍受的機器人和人們真正想要帶回家的機器人之間的區別。」
這項工作得到了麻省理工學院生成式AI影響聯盟以及麻省理工學院施瓦茨曼計算學院計算的社會與倫理責任項目的部分支持。
