2009 年，李飛飛團隊發布 ImageNet，讓人工智慧第一次有機會通過海量圖片認識這個世界。十五年後，她在一次演講中提出「空間智能」，認為 AI 的下一步，不只是識別一張圖片裡有什麼，而是理解物體在哪裡、彼此如何關聯，以及人在其中採取行動後，世界會發生什麼變化。
今年，這條研究路線又往前走了一步。6 月，李飛飛參與的一項機器人研究 T-Rex 發布，研究者為機器人加入高頻觸覺反饋，讓它完成翻書頁、拿雞蛋、擠牙膏、抽取薄卡片和擰燈泡等任務。
一位因電腦視覺聞名的科學家，為什麼開始反覆談論觸覺、模擬器和機器人？這並不意味著視覺已經過時。恰恰相反，今天的具身智能
廠商仍在給機器人安裝更多攝影機、更精確的深度傳感器和雷射雷達。
廠商仍在給機器人安裝更多攝影機、更精確的深度傳感器和雷射雷達。真正發生的變化是，行業逐漸意識到，「看」只是智能進入物理世界的第一步，一張圖片也只是世界留下的表面。
AI 可能根本沒在看
今年 3 月，李飛飛參與的一項研究做了一個實驗：研究者向多模態模型提出視覺問題，但故意沒有真的把圖片傳進去。按理說，模型應該回答「我沒有看到圖片，無法判斷」。
但不少前沿模型依然開始一本正經地描述圖像內容，給出完整的分析過程，甚至能在部分視覺問答測試中取得很高的分數。比如，在一個胸肺 X 光問答基準里，模型沒有看過任何 X 光片，成績卻依然排到了前列。
研究者把這種現象稱為「幻景推理」，模型並不一定在根據視覺證據回答問題，而可能是在利用問題里的文字線索和訓練數據中的常見搭配，猜測一張「通常會和這個問題同時出現的圖片」應該長什麼樣。
類似於，大模型並不一定知道自己在說什麼，而是在推測「下一個最有可能出現的字」。題目問「圖中車輛正在等待什麼信號」，即使沒有圖片，人也可能根據常識猜出，答案無非是紅綠燈。
模型吃過足夠多的圖片說明、診斷報告和問答數據以後，也可能繞過真正的視覺觀察，直接從問題跳到答案。它說得非常像看見了，不代表它真的看見了。
在聊天窗口裡，只要答案聽起來合理，用戶未必關心模型究竟是看圖得出的，還是靠語言猜中的。但進入物理世界以後，二者的區別會立刻暴露出來。
杯子究竟在桌子的左邊還是右？距離手臂還有十厘米還是二十厘米? 這些都不是可以靠語言常識矇混過關的問題，尤其是對於機器人而言，差幾厘米，就會直接抓空。
這也是為什麼，今天的機器人身上正在出現越來越複雜的感知系統。宇樹 G1 使用深度相機和 3D 雷射雷達，一種負責判斷物體遠近，一種負責建立周圍空間的距離地圖。
智元靈犀 X2 除了 RGB-D 相機和雷射雷達，還使用前視雙目、後視相機和觸摸傳感器，從不同方向補充環境資訊。
這些配置看上去，像是又一場針對傳感器的軍備競賽，但它們其實是在彌補視覺的不同盲區。頭部攝影機適合觀察整個房間，但容易在機械臂靠近物體時被自己的手擋住；雷射雷達能夠測量距離和建立地圖，卻看不懂桌上的東西究竟是杯子還是蘋果。
對人來說，轉一下頭、眯一下眼睛或者伸手試探，是幾乎不需要思考的動作。機器人卻需要把來自不同攝影機、雷達和關節傳感器的資訊拼在一起，才能確定自己面對的是同一個、持續存在的物理空間。
所以，具身智能首先遇到的問題，並不是模型能不能認出一個杯子，而是它能不能確認：這樣一個杯子，真的在那裡。
大多數世界模型，其實只是在畫世界
這兩年，「模型」成了 AI 行業最熱門的詞之一。影片生成模型可以根據一句提示詞，生成一台機器人走進客廳、拿起籃子、湊近玩具，再把玩具放進籃子。
這些畫面中的光影、運動和鏡頭都可以非常自然，觀眾很容易產生一種感覺：既然模型能夠生成這段過程，它大概已經理解了環境和物體如何運作。但只是從影片來看，杯子究竟有多重、櫃門的鉸鏈能承受多大的力、機械手碰到杯壁時會不會打滑，都不是必須回答的問題，只要下一幀看起來合理，任務就完成了。
實際上，對機器人來說，這些不足以在鏡頭中充分展示的細節，恰恰決定了任務能不能成功。
World Labs 今年把目前被統稱為「世界模型」的技術拆成了三類。第一類是渲染器，負責生成給人看的像素；第二類是模擬器，負責表示幾何結構、物理屬性和動態變化；第三類是規劃器，根據目標決定機器人下一步應該做什麼。
這個分類維度恰恰說明了剛才我們提出的問題：模型如果只是會畫出一個世界，不等於能夠在裡面幹活。
一輛車可以在生成影片裡順利穿過城市，但鏡頭之外的街道是否持續存在，建築有沒有穩定的三維結構，車輪和地面之間是否真的存在摩擦，模型未必知道。對於觀眾來說，像真的已經夠了；對於機器人來說，世界必須可以計算、可以碰撞，也必須在它轉過身以後繼續存在。
World Labs 推出的 Marble 已經可以從文字、圖片或影片生成可探索的三維環境。除了供人觀看的畫面，它還可以輸出碰撞網格，讓物理引擎判斷一個物體能不能穿過牆壁、落到地面後會停在哪裡。
英偉達的 Cosmos 則把世界生成、影片預測和機器人訓練放在同一套 Physical AI 體系中，希望用大量合成場景填補真實機器人數據不足的問題。
的 Cosmos 則把世界生成、影片預測和機器人訓練放在同一套 Physical AI 體系中，希望用大量合成場景填補真實機器人數據不足的問題。
這條路線聽起來很宏大，落到機器人公司的研發流程里，其實非常樸素，這就是先讓機器人在虛擬世界裡反覆失敗。
只不過，一台雙足機器人學會走路，不可能只靠工程師每天把真機推倒幾千次。逐際動力的 TRON 1 支持 NVIDIA Isaac、MuJoCo 和 Gazebo 等仿真平台，開發者可以先在虛擬環境裡測試不同地面、坡度和碰撞情況。智元則發布了 AgiBot Digital World，用仿真環境生成操作數據、訓練模型並評估機器人策略。
逐際動力支持的訓練平台
在現實中讓機器人摔倒一次，可能意味著零部件磨損、維修成本和安全風險；在模擬器里，同一個動作可以由成千上萬個虛擬機器人同時嘗試。桌子的高度、地面的摩擦係數、物體擺放的位置都可以不斷變化，機器人不必真的打碎一萬隻杯子，才能學會怎樣端穩一隻杯子。
不過，模擬器也不是答案本身，虛擬世界中的地面永遠比真實地面乾淨，模型設定的摩擦力也不可能覆蓋每一種材料。機器人在模擬器里練得再熟，進入工廠、商場和家庭以後，依然會遇到沒有被寫進參數表的意外。這就是機器人行業一直面對的「仿真到現實差距」。
World Labs 在 7 月 21 日收購 SceniX，重要之處也正在這裡。它不再只滿足於生成一個可以觀看和探索的三維空間，而是開始把模擬出來的世界與真實機器人的行動反饋連接起來。
觸覺，不只是另一雙眼睛
即使視覺和模擬已經足夠成熟，機器人真正碰到物體以後，仍然會遇到一類攝影機很難獨立解決的問題。
拿起雞蛋時，機器人怎樣知道手指已經用力過大？抽出一張薄卡片時，它怎樣判斷自己捏住的是卡片，還是只碰到了桌面？擰燈泡時，它怎樣感知螺紋已經卡住，繼續旋轉可能會損壞物體？攝影機可以看到手已經接近目標，卻很難及時判斷接觸面正在發生什麼。
觸覺解決的不是「物體在哪裡」，而是「接觸以後發生了什麼」。壓力是否增加，物體是否開始滑動，材料有沒有變形，抓握是否穩定，這些資訊都發生在視覺畫面之下。
Figure 今年發布的 Helix 02，就把頭部攝影機、手掌攝影機、指尖觸覺和全身本體感知接入同一套控制系統。當頭部攝影機被機械手遮擋時，手掌里的攝影機繼續提供近距離畫面；指尖傳感器則可以感知低至 3 克的力，讓機器人從藥盒中取出單顆藥片、控制注射器推出精確劑量，並在雜亂物體中分離出尺寸很小的目標。
國內廠商也在快速補上這塊感知能力，像帕西尼這樣的上游廠商，則直接把觸覺傳感器、靈巧手、人形機器人、數據採集和多模態模型組成一條產品鏈，希望把觸覺從一個零部件問題，變成機器人訓練數據的一部分。
圖片來自：帕西尼
但給機器人裝上傳感器，並不意味著它自然就會使用觸覺，很多被稱為「常識」的能力，並不是來自我們看過多少圖片，而是來自身體在漫長的接觸中，學會了讓動作適應世界。
李飛飛參與的 T-Rex 研究展示了這一步為什麼困難。團隊收集了 100 小時包含觸覺信號的機器人操作數據，讓機器人完成翻書頁、轉移雞蛋、擦盤子、擠牙膏、分離疊放的杯子、摸索麻將、開鎖、抽取卡片和擰燈泡等任務。最終，T-Rex 在 12 項任務中的平均成功率達到 65%，比最強對照模型高出 30 個百分點。
研究中一個很有意思的結果是，直接把觸覺數據塞進現有的視覺—語言—動作模型，表現反而很差。原因並不難理解：不同感官工作的速度並不相同，視覺和語言適合做較慢的全局判斷，機器人需要先看清桌面，理解人的指令，再決定應該拿哪一個物體。但一隻杯子開始從手指間滑落時，它不會等待模型重新看圖、分析和規劃。
觸覺必須以更高頻率持續工作，在滑動剛剛發生的瞬間調整手指力度。T-Rex 因此讓視覺和觸覺按照不同速度運行。視覺負責回答「我要做什麼」，觸覺負責不斷修正「我現在做得對不對」。
這不是給機器人增加了另一雙眼睛，而是給它增加了一條來自現實的即時反饋。
過去幾年的 AI 競爭，主要圍繞誰能造出一個更聰明的大腦。具身智能正在把競爭推向一套更完整的系統，機器人需要攝影機和雷達確認世界在哪裡，需要模擬器提前練習行動的後果，也需要觸覺和力反饋處理真正接觸以後出現的意外。
李飛飛並非直接從視覺轉向觸覺，她的研究路線更像是在不斷擴大「看見」的含義：從識別一張圖片，到理解一個持續存在的空間，再到知道自己伸手碰觸以後，世界會怎樣回應。十五年前，ImageNet 教會 AI 說出眼前是什麼，下一代世界模型需要解決的問題是，當它真的伸出手以後，世界會交還給它什麼。
