專門開發可用來教導機器人新技能的AI軟體公司Covariant於本周發布了RFM-1,該產品的全名為機器人基礎模型(Robotics Foundation Model,RFM),為一款針對機器人的大型語言模型,可供任何人在幾分鐘內快速規劃新的機器人行為。
Covariant宣稱自2017年便開始構建機器人數據集,搜集機器人於實體世界的行為以訓練模型,根據該公司的說明,這是因為現有的機器人數據集包含於實驗室環境中動作緩慢的機器人,但現在需要的卻是於苛刻環境中的機器人互動能力,也需要藉由機器人在不斷變化的倉庫環境中持續運行的狀況 ,來發現於實驗室中很難遇見的長尾事件。
至於RFM-1則是利用Covariant所構建的機器人數據集,再加上大量的網路數據,包括文本、圖像、影片、機器人動作,以及各種傳感數據進行訓練,是個具備80億個參數的多模式模型,得以通過廣泛的輸入與輸出來支持不同的應用。
例如它可以通過圖像至圖像的學習來進行場景分析,如分割或識別;也能結合文本指令與圖像觀察,以產生所需的抓取動作或運動順序;也可將場景圖像與目標抓取圖像配對,以影片格式來預測結果,或是模擬沿途數字傳感器上的數字。
圖片來源/Covariant
Covariant指出,RFM-1的發展目標是處理真實世界機器人的複雜動力學及物理約束,其成功與失敗之間的界限很狹窄,對精度的要求很嚴格,就算只有幾毫米的誤差也可能造成操作終止。
此外,過去數十年都只有經驗豐富的機器人工程師才能替機器人撰寫新功能,但現在任何人都能夠通過RFM-1、以文本替機器人設計新功能,所需時間也從數周或數月縮短成只要幾分鐘。不管是工程師或是一般的機器人操作人員都可通過簡單的英文來指導機器人執行特定的揀選動作,而不必重新撰寫程序,降低了定製化AI行為的障礙,以滿足不同客戶的動態業務需求與極端案例場景的長尾需求。
RFM-1定位為通用機器人的基礎模型,它也允許機器人在遇到困難時向人類求助,預計在未來幾個月推出,並期望可從客戶的實際部署中收集各種數據來加速學習。