你有沒有想過，一個機器人要認路，到底有多難。
不是那種走迷宮的難，是更根本的難。讓一個人形機器人在陌生的房子裡找到"藍色的食物菜單牌子"，讓一個四足機器人跟著一個穿藍上衣的陌生人走，讓一輛輪式小車聽懂"出門左轉，到樓梯右轉再進臥室，在床邊停下"這種拐了好幾個彎的指令。這三件事看起來都是"導航"，但過去做機器人的人會告訴你，這幾乎是三個完全不同的工程項目。
問題出在哪裡。傳統的導航系統喜歡把任務拆成一條流水線：先用攝影機和雷達把周圍環境建成一張地圖，再用規划算法在地圖上找路徑，最後用一個專門訓練的模組把路徑翻譯成機器人的具體動作。每一個任務、每一種機器人、每一種傳感器組合，都得重新搭一遍這條流水線。換一個任務，攝影機視角變了，機械結構變了，整套系統就得推倒重來。
這就是這篇論文要解決的事情：能不能用同一個模型，換一個說法就能幹另一件事，換一個機器人身體就能直接上崗，不用重新訓練，也不用給每個任務單獨配一個"專用零件"。
答案是可以的，做出來的模型叫LightNav-0
。
一件反直覺的事實是，現在的視覺語言模型其實早就"看得懂"空間了。
VLM
視覺語言模型，一種既能看圖片又能理解文字的AI模型，比如可以回答"圖裡的杯子在桌子的左邊還是右邊"
你可能覺得，讓AI理解空間關係是個新鮮的高難度任務，但事實並非如此。現在主流的VLM，比如Qwen3-VL，早就具備開放詞彙識別、空間推理、指令理解、影片解讀這些能力了。研究者們做過測試，這些模型能準確說出"沙發在壁爐旁邊"，能判斷"左邊第二把椅子"是哪一把。
這就帶來一個很有意思的悖論：AI已經會"看懂空間"了，但過去幾乎沒有人直接拿這份能力去指揮機器人走路。大家寧願另起爐灶造一套專門的導航模組，也沒有把VLM的空間理解能力直接接到控制系統上。LightNav-0團隊的思路是，與其重新發明輪子，不如乾脆問一句：能不能直接把這份能力"借用"過來，讓VLM親自開車？
這個想法聽起來簡單，但真正做起來，中間橫著一道鴻溝。
VLM理解的是圖像上的像素和文字，它可以說出"目標在左邊靠前的位置"，但它沒法直接說出"輪子轉多少度，走多少米"這種精確的物理指令。一個是模糊的語義判斷，一個是精確的幾何控制，這兩者中間需要一座橋。
LightNav-0的核心創新，就是造了這座橋。
用"指點"當作導航的通用語言
橋的第一段叫雙通道指點。
具體做法是，模型在做任何決策之前，先在當前看到的畫面上標出兩個點：一個是affordance point
可行點，標出畫面中一個安全可走、可以落腳的方向或位置，相當於告訴自己"這條路能走"
另一個是object point
目標點，標出畫面中的目標物體或目的地所在的位置，比如"沙發在這裡"
這兩個點都不是用兩個數字（橫坐標、縱坐標）分別表示的，而是被編碼成圖像網格上的單一編號。打個比方，把畫面切成一張方格紙，每個格子給一個編號，模型直接說"第483號格子"，這個格子就代表了那個點的位置。
這個設計有個很實際的好處。VLM本身就是在一張二維的像素網格上"看"世界的，如果你讓它去學著輸出連續的浮點坐標，其實是在逼它做一件它天生不擅長的事：把視覺證據翻譯成一套跟它原本表達方式完全不同的數字系統。而指點這件事，恰恰是VLM訓練時天然接觸過的任務形式，因為大量的開放世界圖片標註數據里，早就有大量"指出圖中某處"的樣本。讓VLM繼續用它熟悉的語言說話，而不是強迫它換一套新方言，這就是為什麼指點會比直接回歸坐標更可靠。
這裡可以做一個類比。想像你請一個外語翻譯幫你辦事，這個翻譯精通中文和英文，但你卻非要讓他用一套只有你自己看得懂的手語來匯報進度。他明明可以直接用英文告訴你"目標在左前方",你偏要他先把這句話轉換成一串你發明的手勢編碼。結果是，原本流暢的表達變得磕磕絆絆，翻譯能力被浪費了一大半。如果不用指點這種和VLM原生能力對齊的表達方式，而是強行引入全新的坐標預測頭，那就等於把VLM原本積累的視覺理解能力晾在一邊，重新從零訓練一套陌生的輸出機制，這不僅浪費了預訓練的成果,還可能讓模型在陌生場景下表現得不穩定。
這個指點前綴，論文裡管它叫latent spatial reasoning
隱式空間推理，指模型在真正生成動作之前，先用簡短的中間表示（這裡就是兩個點）做一次空間層面的思考，相當於"想一步再做"
這跟這幾年流行的"思維鏈"是同一個邏輯，但過去大部分方法讓AI用大段文字做推理，一步一步寫出"我看到了什麼，我應該往哪走",這樣做的問題是每次決策都要生成一長串文字，耗時又不穩定。LightNav-0把這個思考過程壓縮成固定的兩個點，代價極小，卻依然保留了"先想清楚再行動"這個結構。
從兩個點到十步路：動作怎麼變成token
光有兩個點還不夠，機器人真正需要的是一串具體的移動指令。這就輪到橋的第二段：RVQ動作分詞器
殘差向量量化動作分詞器，把一段10步的連續軌跡壓縮編碼成三個離散符號，模型生成這三個符號就能還原出完整的移動路徑
這個設計要解決的問題是，語言模型天生只會吐出離散的符號（也就是token），可機器人走路需要的是連續的坐標變化，這兩者之間存在天然的不匹配。
論文的做法是分層量化。第一層用一個包含256種選項的"粗糙動作詞典"，先框定一個大致的運動方向，誤差大概在0.9米左右。第二層再從256個選項里挑一個,用來修正第一層留下的誤差,把精度提到7厘米左右。第三層繼續修正,精度進一步收窄到4厘米左右。三層疊加起來，256的三次方，也就是超過1600萬種組合，全部只用三個token就表達完了。
這個層層修正的邏輯,其實就跟你用尺子量東西差不多。先用米尺量出大概幾米幾,這是第一層的精度;再拿捲尺細量到厘米級,這是第二層;最後拿遊標卡尺量到毫米級,這是第三層。每一層工具的作用都是去修正上一層量出來的誤差,而不是重新量一遍。如果沒有這種分層設計,直接讓模型一次性輸出一個高精度的坐標,那就相當於讓你蒙著眼睛直接說出"這根木棍長37.482厘米",這幾乎是不可能精確完成的任務,而且訓練起來也極其困難,因為語言模型的輸出空間是離散的,卻要硬湊出連續精度,誤差會被無限放大。
論文裡給出了具體數字：三層全部解碼後，平均位移誤差是0.72厘米，而如果用一種叫VADv2
一種自動駕駛領域常用的單層向量量化軌跡方案，用單個token表示一整條軌跡，不做殘差修正
的單層方案，誤差是2.48厘米。差了三倍還多。這說明分層修正不是錦上添花，而是精度的關鍵來源。
更妙的是,這套設計還留了一個"應急開關"。如果機器人算力吃緊,或者對實時性要求很高,可以只解碼第一個token,拿到一條粗糙但可執行的軌跡,犧牲一點精度換取速度。這種"用幾層就有幾層的可用結果"的彈性，在實際部署時非常實用。
記性也要分遠近親疏:視覺歷史怎麼壓縮
機器人在移動過程中會不斷看到新畫面，如果把每一幀都原樣存起來餵給模型,視覺token的數量會無限膨脹，很快撐爆模型的處理上限。
LightNav-0借鑑了一個心理學概念，叫Ebbinghaus forgetting curve
艾賓浩斯遺忘曲線，一個描述人類記憶隨時間推移而逐漸衰退的心理學規律，越久遠的記憶細節丟失得越快
做法是，越新的畫面，採樣頻率越高、保留的細節越豐富；越舊的畫面，採樣越稀疏、壓縮得越粗糙。當前這一幀永遠保持最高解析度，而幾十秒前的畫面可能只剩下寥寥幾個模糊的token。
這跟你回憶一場旅行很像。你能清楚記得昨天下午發生的每一個細節，幾點出門、吃了什麼、遇到誰，但一個月前那次旅行,你可能只記得大致去了哪個城市、印象最深的一兩個瞬間，中間瑣碎的過程早就模糊成一團。如果非要讓大腦對每一分鐘都保持同等清晰度的記憶,那大腦的儲存和處理負擔會成倍增加，最終反而什麼都記不住。視覺歷史壓縮就是把這個"該忘的忘、該記的記"的機制搬到了機器人的感知系統里，在有限的token預算內，同時保留長期的場景脈絡和短期的動作細節。
一套語料餵出全能選手：數據從哪來
光有巧妙的架構還不夠，模型得吃到足夠豐富、足夠乾淨的數據才能真正學會導航。
LightNav-0的訓練語料分成兩大塊。第一塊是embodied reasoning
具身推理數據，用來強化模型的空間理解、時間推理和視覺定位能力，不直接涉及導航動作，而是打基礎
這部分數據來自36個來源，涵蓋單圖問答、影片推理、多圖對應、指點定位等等，占比最大的是"指點"類數據，接近35%。這一步的作用是先讓模型把"看懂空間"這件事練紮實，再談導航。
第二塊才是真正的導航數據，來自16個導航來源加33個輔助來源，總共覆蓋2000多個場景、4000多個小時的軌跡，包括指令跟隨、物體搜索和視覺跟蹤三大類任務。有意思的是，訓練時並沒有把這三類任務完全分開對待,它們被打散混在同一個訓練流里，模型看到的每一條樣本，輸出格式都是統一的：一個可行點，一個目標點，三個動作token。這種設計讓模型不用區分"我現在在做哪個任務"，因為任務的語義資訊已經隱含在指令文字和監督格式里了。
論文還專門造了一個新的評測集，叫INSIGHT-Bench
一個融合了傳統網格地圖和三維高斯潑濺重建場景的導航評測基準，包含1683個訓練場景和210個獨立的評測場景，覆蓋公寓、別墅、商業空間、機構建築和戶外五種場景類型
這個基準的特別之處在於，它不只是簡單地問"機器人有沒有到達目標"，而是設計了一套兩軸診斷體系。一個軸是場景類型，一個軸是指令類型，指令又細分成基礎指令、方向指令、關係指令、極值指令（比如"最左邊的桌子"）、序數指令（比如"從左數第二把椅子"）。這樣設計出來的評測結果不再是一個籠統的成功率，而是能清楚看出模型在哪種場景、面對哪種語言表達時更容易翻車。
三步走的訓練配方
模型的訓練分三個階段。第一階段是embodied reasoning中期訓練，讓Qwen3-VL-4B這個基礎模型先專門補一補空間理解的課，這個階段結束後得到的模型叫LightNav-ER。第二階段是監督微調，把導航數據和之前學到的推理能力放在一起訓練，防止模型學了導航就忘了原本的通用能力，這裡還用了一種叫DAgger
一種讓模型在自己犯的錯誤狀態下繼續學習的技術，而不是只在專家演示的標準狀態下學習，能縮小訓練和實際部署之間的差距
的技術，讓模型接觸到自己走偏之後的真實場景，而不只是完美的專家軌跡。第三階段是在線強化學習，用GRPO
一種去掉了傳統強化學習里"價值函數"的策略優化算法，通過同一批次內多次嘗試的相對好壞來計算優勢，簡化了訓練流程
針對三類任務設計了三套不同的獎勵函數，跟蹤任務看重視野保持和距離恰當，指令跟隨看重路徑和終點的雙重吻合，物體導航則更看重路徑效率。
這裡有個細節值得多說一句。做在線強化學習最大的痛點是仿真環境跑得慢，而且大量樣本壓根沒有訓練價值，因為一個模型永遠能做對的任務和永遠做不對的任務，都不會產生有意義的梯度信號。研究者的做法是先用監督好的模型跑一遍所有候選任務，把它們分成"總是能做對"、"有時對有時錯"、"總是做不對"三類，然後重點訓練"有時對有時錯"這批任務，因為只有這批任務的多次嘗試之間存在差異，才能真正驅動模型學習。這跟老師批改作業時的經驗很像，一道全班都會做的題和一道全班都不會做的題,拿來講評的價值都不大，真正值得花時間講的,是那些"有人做對有人做錯"的題，因為這才能暴露出學生之間真正的思維差異。
結果說話:一個模型打贏十個賽道
論文裡最硬核的部分，是拿這一個模型去跟十個不同的公開仿真評測硬碰硬，結果全部拿下最強單目（只用一個攝影機，不藉助深度資訊和里程計）成績。
方法 | R2R成功率 | RxR成功率 | HM3D v1成功率 | HM3D v2成功率
--- | --- | --- | --- | ---
Qwen-RobotNav-8B | 65.7 | 73.4 | 73.7 | 77.0
DualVLN | 64.3 | 61.4 | -- | --
Uni-NaVid | 47.0 | 48.7 | 73.7 | --
LightNav-0 | 68.5 | 73.6 | 74.5 | 79.5
在開放詞彙物體導航HM3D-OVON這個更難的評測上，LightNav-0在未見過的類別設置下，成功率從此前最好的39.5提升到47.0，漲了7.5個百分點，將近兩成的相對提升。在具身視覺跟蹤任務里,面對干擾目標的場景，成功率從73.3提升到82.6,同時把碰撞率也壓低了不少。
INSIGHT-Bench這個自建評測集上，差距更明顯。LightNav-0的成功率是43.7，而對比的六個開源模型里最好的JanusVLN只有27.4，差了16.3個百分點，相對提升接近六成。細看指令類型，方向類指令的提升最猛，從29.7漲到57.7，幾乎翻倍。這背後的原因也不難理解，方向類指令要求模型準確判斷"左邊""右邊""身後"這些以自身為參照系的空間關係,而這恰好是指點這套機制最擅長的地方，因為標註數據里本來就帶著精確的相機朝向和目標像素位置。
不過也不是每個維度都完美。極值類指令（比如"最左邊的桌子"）依然是最難啃的類型，成功率只有37.2，因為要判斷"最左邊"，模型得先在畫面里找到好幾個同類候選，再比較它們的相對位置，這對單一前向攝影機來說資訊量本身就有限。
從遊戲世界到真實街道的零樣本遷移
最能說明這套方案泛化能力的,是論文裡展示的跨域測試。同一個模型checkpoint，沒有做任何針對性微調，就直接扔進反恐精英1.6、我的世界、毀滅戰士、拉力賽車這四款畫風完全不同的遊戲裡。它在反恐精英里跟著"繞過箱子沿上層通道走到B點"這種多步指令走，在我的世界裡追著一隻移動的苦力怕不放，在拉力賽車裡對著賽道上的checkpoint環開車過去。
這幾款遊戲的視覺風格、場景結構、控制方式幾乎沒有任何共同點，但模型都能拿捏得住，這說明它學到的不是某個遊戲的具體套路，而是一種更底層的東西：怎麼在畫面里找到能走的地方,怎麼鎖定該去的目標。
真實世界的部署更直接。研究團隊把同一個模型分別裝到人形機器人、四足機器人、無人機、輪式機器人這四種完全不同的物理平台上。有意思的是，跟蹤能力的訓練數據里只有人類目標，但實際部署時，模型能順利跟蹤它從沒見過的人形機器人、輪式機器人、小推車,這種跨類別的目標識別能力,並不是靠額外訓練數據堆出來的，而是模型本身的開放詞彙理解能力在起作用。
論文還專門做了一套通用的通信接口，讓高層的"看畫面出軌跡"這套邏輯保持不變，具體到每個機器人平台，只需要一個輕量的執行層把軌跡翻譯成對應的速度指令和里程計反饋。這種做法本質上是把"決策的大腦"和"執行的手腳"徹底解耦，大腦不需要知道自己長在哪種身體裡。
規模到底該往哪個方向擴
論文最後做了一組擴展性實驗，挺值得琢磨。
把模型從2B參數擴到4B，R2R的成功率從59.9漲到68.5，漲幅明顯。但再從4B擴到8B，成功率反而掉了1.6個點。這個結果有點反直覺,一般人的默認預期是參數越多效果越好，但這裡給出的答案是，在這個規模區間，參數量繼續加碼,收益已經不明顯，甚至可能因為訓練難度增加而適得其反。
數據量的擴展效果是單調遞增的，但收益越往後越小。從十六分之一的數據量擴到全量，成功率漲了15個百分點，但從二分之一擴到全量，只多漲了不到1個點。
真正讓人意外的是場景數量的擴展。把訓練場景從八分之一擴到全量，R2R成功率漲了16.7個百分點，漲幅甚至超過同等比例的數據擴展。這說明比起簡單堆疊更多的重複軌跡，讓模型見識更多不同的場景，才是性價比最高的投入方向。這個結論對做數據工程的人來說，其實挺有啟發：與其在同一批場景里反覆採集更多軌跡，不如想辦法拓寬場景的種類和數量。
寫在後面
讀到擴展性實驗那部分時，最讓我意外的是場景多樣性居然比模型參數量更重要。這跟大家過去對"大模型就該無腦堆參數"的直覺不太一樣，至少在導航這個具體任務上,數據的廣度比模型的深度更划算。這也許暗示了一個更普遍的規律：對於需要泛化到未知環境的任務，見多識廣比腦子大更管用。
另一個讓我反覆琢磨的細節是,論文提到跟蹤能力的訓練數據只包含人類目標，但模型部署後卻能跟蹤從沒見過的機器人和推車。這說明這套系統學到的不是"人長什麼樣"，而是"怎麼持續鎖定一個移動物體並保持合適距離"這個更抽象的能力。這種能力的遷移，某種程度上比單純的準確率數字更讓人興奮，因為它意味著模型抓住的是任務的本質結構,而不是訓練數據的表面特徵。
論文裡也留了一個沒解決的問題:目前整個系統只有一條決策通路,快速的避障反應和緩慢的語義規劃混在同一個流程里處理。如果機器人在鬧市區突然竄出一個行人，模型需要先完成"看畫面、想空間、生成軌跡"這一整套流程才能反應，這個鏈路會不會太長了？未來如果真能拆出一個專門處理緊急情況的快速反射層，配合現在這套偏慢的語義規劃大腦，會不會更接近真實世界裡人類"先躲後想"的反應模式？這個問題,論文自己也承認還沒有答案。
Q&A
Q1：LightNav-0是什麼？
A：LightNav-0是一個基於Qwen3-VL-4B改造的通用導航模型，用雙通道指點和殘差向量量化動作分詞器，讓單一模型同時支持指令跟隨、物體搜索和視覺跟蹤三類導航任務，還能零樣本遷移到人形、四足、飛行、輪式四種機器人上。
Q2：LightNav-0和傳統導航系統的區別是什麼？
A：傳統系統需要為每個任務、每種機器人單獨設計感知、地圖和動作模組，而LightNav-0隻用一個攝影機畫面輸入，通過統一的指點加動作token接口處理所有任務，不需要任務專用的預測頭或embodiment專用的動作專家。
Q3：INSIGHT-Bench是什麼，為什麼要新建這個評測集？
A：INSIGHT-Bench是論文自建的導航評測基準，包含1683個訓練場景和210個評測場景，按場景類型和指令類型兩個維度診斷模型表現，能精確看出模型在哪類場景、哪種指令表達下容易出錯，而不只是給一個籠統的成功率。
