10 月 31 日消息，自動駕駛公司 Waymo 長期以來一直將與谷歌 DeepMind 的聯繫及其數十年的 AI 研究視為其在自動駕駛領域超越競爭對手的戰略優勢。現在這家 Alphabet 旗下的公司更進一步，為其機器人出租車開發一種基於谷歌多模態大語言模型（MLLM）「Gemini」的新訓練模型。
Waymo 今天發布了一篇新的研究論文，介紹了一種名為「端到端多模態自動駕駛模型」（EMMA）的新模型。這種新的端到端訓練模型能夠處理傳感器數據，生成「自動駕駛車輛的未來軌跡」，幫助 Waymo 的無人駕駛車輛做出關於去哪裡以及如何避開障礙物的決策。
但更重要的是，這是首次有跡象表明，自動駕駛領域的領導者計劃將 MLLM 應用於其業務。這意味著 MLLM 可能不僅僅局限於聊天機器人、電子郵件組織者和圖像生成器等領域，而是可以擴展到自動駕駛領域。
在研究中 Waymo 提出，傳統的自動駕駛系統通常會為感知、映射、預測和規劃等各種功能開發特定的「模塊」。雖然這種方法在過去多年中效果顯著，但也存在可擴展性問題，主要是由於模塊間的誤差積累和通信有限。此外，這些模塊由於是「預定義」的，因此面對「新環境」時適應能力較差。
Waymo 認為，像 Gemini 這樣的 MLLM 可以解決這些問題。首先，這些模型是經過大量網際網路數據訓練的「通才」，能提供超出常規駕駛記錄的豐富「世界知識」；其次，它們通過「鏈式推理」等技術展現出「卓越」的推理能力，能夠將複雜任務分解為一系列邏輯步驟，模仿人類的思維方式。
Waymo 表示，EMMA 模型在幫助機器人出租車應對複雜環境方面表現良好。例如，當遇到各種動物或道路施工時，EMMA 能夠幫助無人駕駛汽車找到合適的行駛路線。
據悉，特斯拉等其他公司也在大力開發其自動駕駛汽車的端到端模型。特斯拉首席執行官伊隆・馬斯克聲稱，最新版本的 FSD 12.5.5 採用了「端到端神經網路」人工智慧系統，將攝影機圖像轉換為駕駛決策。
這表明，在部署真正的無人駕駛車輛方面領先於特斯拉的 Waymo 也對追求端到端系統感興趣。該公司表示，其 EMMA 模型在軌跡預測、物體檢測和道路圖理解方面表現出色。
但 EMMA 也有其局限性，Waymo 承認，在將該模型投入實踐之前，還需要進行未來的研究。例如，EMMA 無法整合來自雷射雷達或雷達的 3D 傳感器輸入，Waymo 表示這是因為「計算開銷太高」，並且一次只能處理少量圖像幀。
研究論文中未提及的另一個風險是，像 Gemini 這樣的 MLLM 會存在「幻覺」，而無人駕駛汽車的容錯率非常有限。因此，在這些模型能夠大規模部署之前，還需要進行更多研究。
