你有沒有想過，機器人擰螺絲為什麼總是笨手笨腳的？
不是因為它看不清螺絲在哪，攝影機解析度早就夠用了。問題出在它擰到一半的時候，根本不知道螺絲有沒有滑絲，夾爪有沒有打滑，力道是不是已經過頭了。這些資訊，攝影機看不見。
人類擰螺絲靠的從來不只是眼睛。你閉著眼睛也能憑手感知道螺絲有沒有擰緊，憑指尖的壓力判斷這個瓶蓋是不是快要擰不動了。這種能力叫本體的觸覺反饋，而現在絕大多數機器人操作模型，壓根沒有這個反饋迴路。
這就是NeoteAI團隊和復旦大學可信具身智能
研究所聯合發布的N0-TWAM要解決的問題。這篇論文的核心主張說起來很直接：如果一個模型能預測視覺世界的下一秒會發生什麼，那它為什麼不能同時預測觸覺世界的下一秒？
觸覺為什麼總被晾在一邊
要理解N0-TWAM做了什麼創新，得先搞清楚這個領域此前卡在哪。
過去幾年，機器人操作有兩條主流技術路線。第一條叫**視覺-語言-動作模型**
> VLA（Vision-Language-Action）：把一個學過海量圖文知識的大模型接上一個動作輸出頭，讓它看著當前畫面直接吐出下一步該怎麼動。代表作是π0、RT-2這類模型。
VLA的強項是繼承了大模型的語義理解能力，你跟它說"把杯子拿起來"，它大概率能明白杯子長什麼樣。但它的軟肋也很明顯：它是看一幀算一步，沒有對未來的任何設想，就像開車時只盯著後視鏡里剛過去的路況做決策，從不往前看。
第二條路線叫**世界-動作模型**
> WAM（World-Action Model）：先用影片生成的方式預測出未來幾秒畫面會變成什麼樣，再從這個預測出的未來里"讀出"應該採取的動作。這類模型的邏輯是，如果我知道下一步會撞上什麼，我自然可以提前躲開。
這條路線聽起來更聰明，可惜到目前為止，幾乎所有WAM預測的"未來"都只是視覺畫面，沒有一個把觸覺也納入預測範圍的。
那已有的觸覺相關研究是怎麼處理觸覺的？論文裡總結了三條各有缺陷的老路。第一條是把觸覺簡單地當成一個額外的輸入通道，模型只是"看"觸覺傳感器返回的數據，從不去預測它接下來會變成什麼樣。第二條是搞一個獨立的、往往是凍結參數的觸覺預測器掛在動作模型外面，預測這件事發生在主模型之外，跟真正做決策的網路沒有直接關係。第三條是一些同期的觸覺感知世界模型，雖然把觸覺塞進了模型內部，但做法是用注意力掩碼把觸覺token"隔離保護"起來，生怕它污染了視覺表示。
這三條路都有一個共同點：觸覺從來沒有真正成為模型"預測"的對象。
如果打個比方，這就像你請了一個天氣預報員，他能精準預測明天會不會下雨，卻從來不告訴你風力有多大、溫度是多少。風力和溫度這些資訊不是他不知道，而是他壓根沒把這些當成需要預測的東西，只是偶爾順嘴提一句"現在風挺大的"。而N0-TWAM想做的，是讓這個預報員把風力、溫度和降雨概率放在同一張天氣圖上，一起算出來，一起播報。
三個專家，一場共享的注意力
N0-TWAM的骨架設計，核心思路是把視覺、觸覺、動作這三種資訊分別交給三個專屬的"專家"網路處理，但讓它們共享同一套自注意力機制。這個架構叫**混合專家式Transformer**
> MoT（Mixture-of-Transformers）：不同模態各自擁有獨立的參數（權重），只在每一層的自注意力計算這一個環節上"碰頭"交流，其餘時間各算各的。
為什麼要這樣設計？因為觸覺信號和視覺信號的統計特性完全不同。觸覺是稀疏的、事件驅動的，大部分時間傳感器讀數幾乎不變，只有在接觸瞬間才會劇烈跳動，而視覺畫面則是連續變化的密集資訊。如果強行把兩種信號塞進同一套參數裡訓練，觸覺這種"偶爾才發聲"的信號很容易被視覺這個"話癆"蓋過去，甚至污染視覺本身的表示質量。論文裡提到，已經有同期研究報告過，往視覺動力學模型里硬塞觸覺token會拖累影片和動作預測的效果。
N0-TWAM的解法是把"隔離"這件事從注意力層面挪到權重層面。也就是說，視覺專家、觸覺專家、動作專家各自拿著自己的一套參數在私下裡運算，只有在共享自注意力這一步，它們才把各自算出來的資訊拿出來交換。這就好比三個來自不同專業背景的會診醫生，各自看各自的檢查報告，做各自的專業判斷，但每隔一段時間就聚在一起開一次聯合會診，交換意見後再各自回去繼續分析，而不是把三個人的病曆本直接裝訂成同一本，讓誰都可以隨便塗改別人的記錄。
如果不這樣設計會怎樣？三個專家如果都做成同樣的"滿血"規格，參數量會直接翻三倍。論文裡給了一個直觀的對比：如果視覺、動作、觸覺三個專家都用滿血的3072維隱藏層，總參數量大概是150億；而N0-TWAM採用非對稱設計後，只有視覺專家保持滿血的50億參數，動作和觸覺專家都收窄到1024維，總參數量壓到了71.6億，幾乎減半。這不是偷工減料，因為動作和觸覺這兩個模態目前根本沒有像視覺那樣海量的預訓練數據可以餵飽一個滿血網路，硬撐大規模反而浪費。視覺專家還額外享受了一個便宜，它是從一個已經在海量影片上預訓練過的世界模型（LingBot-VA）熱啟動而來的，直接繼承了強大的視覺先驗，而觸覺和動作專家則是從零開始訓練，只能靠共享注意力這條通道間接沾一點視覺先驗的光。
"預測再行動"是怎麼在一次前向傳播里發生的
N0-TWAM最巧妙的設計，藏在一個叫**擴散強制**
> diffusion forcing：一種讓模型可以對序列中不同時間片段獨立設定"清晰程度"（噪聲水平）的訓練機制，從而讓模型既能像自回歸模型一樣按順序生成，又能享受擴散模型去噪的靈活性。
的技巧上，配合一個精心設計的注意力掩碼，模型在一次前向計算里完成了"先預測未來，再據此行動"這個邏輯鏈條。
具體來說，每個時間片段（論文裡叫chunk）里，視覺的未來畫面和觸覺的未來接觸信號會被同時去噪、共同生成，彼此互相看得見對方正在生成什麼內容。等這兩者都生成完畢變成"乾淨"的資訊之後，動作專家才開始工作，它讀取的是剛剛生成出來的這份視覺+觸覺的預測結果，據此去噪出接下來該採取的動作。
這個順序為什麼重要？因為它意味著動作的產生是有依據的，模型不是憑空拍腦袋決定下一步該怎麼動，而是先在腦子裡"預演"了一遍接下來的畫面和接觸感受，再基於這個預演結果去決定動作。這就像一個熟練的木匠在下釘子之前，腦子裡會先過一遍"釘子打下去木頭會不會裂、手感應該是什麼樣"，然後手上的動作才跟著這個預判走，而不是掄起錘子就砸。如果沒有這套預測在先的機制，動作專家就只能對著當前這一幀的靜態畫面做反應，遇到那些視覺上"看起來快插進去了"但實際上還沒真正對齊的情況，就很容易出手過早或者出手過猛。
這套機制靠一個叫frame-id的因果掩碼來實現，規則並不複雜：乾淨的token只能看到自己之前的乾淨歷史；正在生成的噪聲token只能看到嚴格早於它的乾淨歷史；但同一位置上正在共同生成的噪聲token之間可以互相看見。這三條規則組合起來，恰好復現了"先聯合預測視覺和觸覺，再據此生成動作"的邏輯順序，而這一切都不需要改動注意力運算本身，只靠掩碼的設計就實現了。
觸覺的兩副面孔：一個是預感，一個是當下
N0-TWAM給觸覺安排了兩種截然不同的角色，這也是整篇論文裡我覺得最值得細品的一個設計。
第一種角色叫預測的觸覺，也就是模型主動生成出來的、關於未來接觸狀態的一個"幻想"。這部分觸覺信號和視覺畫面共用同一個影片VAE
> VAE（變分自編碼器）：一種把高維原始數據（比如圖像）壓縮成低維隱向量的編碼器，之後模型在這個壓縮過的隱空間裡做運算，效率更高。
來編碼，本質上被當成一種特殊的"影片"來處理，因為N0-TWAM用的觸覺傳感器本身就是基於視覺原理的，傳感器內部有一小塊會變形的軟膠，一個小攝影機拍攝這塊膠體的形變情況，所以觸覺數據天然就是一段RGB影片流。這一部分觸覺預測走的是殘差建模的思路，模型預測的不是觸覺畫面的絕對值，而是相對於初始時刻的變化量，因為在沒有接觸的時候觸覺信號幾乎是恆定不變的，真正攜帶資訊的是接觸瞬間和釋放瞬間那個突然的跳變。
第二種角色叫觀測到的觸覺，這部分是當下正在發生的、真實傳感器讀到的接觸資訊，它不需要被生成，只需要被模型"理解"，所以走了一條完全不同的技術路線，被讀進了一個叫**NeoForce**
> NeoForce：一個專門把原始觸覺圖像轉換成三軸力場表示（橫向剪切力、法向壓力，加一個接觸區域掩碼）的編碼器，是N0-Foundation項目里的成果，訓練時藉助了DINOv2的視覺預訓練權重。
的力學表徵空間裡。簡單說，一個凍結的力估計器先把原始的軟膠變形圖像翻譯成物理意義明確的力場圖，橫向的剪切力對應滑動和抓取的力道，法向的壓力對應按壓的強度，然後NeoForce編碼器把這個力場圖變成一組特徵token，通過一個初始化為零輸出的交叉注意力接口"嫁接"進動作專家的資訊流里。
為什麼要這樣區別對待？因為這兩種觸覺資訊服務的目的完全不同。預測的觸覺服務於前瞻，模型必須生成出來才能用，所以自然要放在跟影片一樣的隱空間裡一起被擴散模型處理。而觀測的觸覺服務於即時反應，動作專家不需要憑空生成它，只需要讀懂它，用物理意義明確的力場空間來表達反而比模糊的圖像隱向量更直接、更好理解。
這個設計讓我想到一個場景。你開車過彎的時候，一部分判斷來自你對前方路況的預判，比如提前觀察到彎道曲率來決定減速時機，這是提前生成的預測；另一部分判斷來自方向盤此刻傳來的路面阻力手感，這是當下的觀測，你不需要在腦子裡"想像"這個手感，它直接就是物理層面的反饋。如果只有預判沒有實時的路感反饋，車過彎的時候一旦輪胎打滑你根本反應不過來；反過來如果只靠路感沒有提前預判，你永遠只能在事情已經發生之後才做出反應，永遠慢半拍。N0-TWAM把這兩條通道都留下來，恰恰是因為它們各自都不能替代對方。
論文裡還有個細節很實在，訓練觀測觸覺這條通道有一個"歸零"的技巧，交叉注意力的輸出投影層在初始化時被設為零，這樣這個新加的分支一開始完全不影響原本已經訓練好的動作專家，等於是從一個已經能用的模型基礎上小心翼翼地嫁接新功能，而不是粗暴地推倒重來。
長任務里，觸覺充當了任務的"標點符號"
如果任務只有一步，比如"抓起杯子"，那單一的語言指令就夠用了。可如果任務是"泡一杯檸檬茶"，這裡面藏著拿杯子、放檸檬、倒水、攪拌好幾個子步驟，問題就來了：機器人怎麼知道自己現在做到哪一步了？
論文指出一個很現實的困境，中途某一幀的畫面本身往往是模稜兩可的，桌子上擺著半杯茶的畫面，可能對應"正準備倒水"，也可能對應"剛倒完還沒攪拌"，純靠視覺很難判斷當前處於任務流程的哪個階段，而模型的注意力窗口又不可能覆蓋整個漫長的任務過程，一句從頭到尾不變的指令在任務進行中根本提供不了任何區分資訊，結果就是模型容易卡殼、重複某個動作，或者跳過該做的步驟直接往後走。
N0-TWAM的解法很聰明，答案其實一直就藏在觸覺信號里。一次抓取動作，從接觸開始到鬆開結束，這中間觸覺信號是相對穩定的，只在開始和結束這兩個時間點上會出現劇烈變化。這種自然的"標點"特性，被拿來給整段長任務演示做分段。
具體做法是，先用觸覺信號（輔以夾爪開合度作為備用信號）檢測出接觸開始和釋放這兩類事件，把一段完整的長任務演示切成一個個子任務片段，再用Gemini 3.5 Flash大模型給每個片段生成一句簡短的子任務指令，比如"拿起茶杯""倒茶""端上飲品"，人工做一遍抽檢修正。訓練時，每個片段就配上它對應的子任務指令去學習。
有個很妙的細節，觸覺信號不僅能劃分任務邊界，還能順帶判斷這次抓取到底成不成功。夾爪合上了不代表真的抓住了東西，如果沒抓到任何物體，夾爪開合度的曲線會正常下降，但觸覺信號卻不會出現相應的力值上升。這一個信號，同時解決了"分段"和"驗證是否成功"兩個問題。
到了實際執行的階段，系統里掛了一個輕量級的調度器，維護著一個子任務隊列。模型執行當前子任務的同時，判斷是否該切到下一步靠的是觸覺的兩個角色聯手確認，預測出來的未來觸覺信號先給出一個"快完成了"的提前信號，然後真實觀測到的接觸事件（比如確實鬆開了）再來確認這次切換，確認無誤之後才真正推進到下一個子任務提示詞，重新給流式上下文餵入新指令。
這套機制像什麼？像是一個廚師做菜時不需要盯著菜譜一步步核對文字，而是靠手感和經驗判斷，油溫到了該下菜了，肉炒變色了該加調料了。這些判斷信號本身就是任務流程的自然標點，不需要額外貼一個計時器在旁邊。如果沒有這套機制，長任務執行就像讓一個人一邊看著一份沒有分段的說明書一邊操作，很容易讀著讀著就不知道自己念到第幾行了。
數據的底子：三萬小時，六種機器人，四百五十個任務
再好的架構也得靠數據餵出來。N0-TWAM的預訓練數據來自一個叫NeoData的自建數據集，規模超過三萬小時，橫跨六種不同的機器人平台（ARX5、UR、Flexiv、Franka、PiPER，還有手持採集的UMI設備），覆蓋450個不同的接觸密集型任務。這裡的關鍵不只是量大，而是相當一部分演示數據都帶著同步採集的每根手指的觸覺流，這種觸覺覆蓋率是它和純視覺預訓練數據集的本質區別。
所有的多視角RGB畫面和觸覺數據流，都用同一個凍結的因果影片VAE編碼成隱向量，一次性處理好緩存到硬碟，訓練時編碼器完全不參與前向計算，這樣能省下大量算力。每段演示被切成固定長度的窗口，一個窗口對應33個隱向量幀，原始影片以30幀每秒採樣，下採樣到10幀每秒後壓縮，相鄰窗口之間還留了大約27%的重疊，避免片段銜接處資訊丟失。
動作空間的設計也做了統一化處理，不管是單臂還是雙臂機器人，最終都歸一化到一個20維的末端執行器動作空間裡，每隻手臂占10維，包括三維位置、六維旋轉表示和一維夾爪指令。這裡有個值得一提的細節，位置和旋轉的目標值用的是相對當前時間片段起點的增量（delta），而不是絕對位姿，理由是增量表示在靜止狀態下會自然收斂到零向量，這是回歸模型最容易學習的"零點"，而絕對旋轉在物體靜止時反而是一個非零常數，小的預測誤差會不斷累積成持續的姿態偏移。不過後文的實驗也提到，這個delta設計在某些對精度要求極高的對齊任務上反而不如絕對位姿好用，這是個需要權衡的取捨。
實驗結果：數字不會說謊
理論說再多，最終還是要看真刀真槍的表現。
在公開的UniVTAC觸覺操作仿真基準（8個任務）上，N0-TWAM拿到了**84.5%**的平均成功率，比表現最好的對照方法InternVLA-A1（67.1%）高出了整整17個百分點。特別值得注意的是，幾個純視覺的世界-動作模型基線在這個基準上表現反而不如VLA模型，LingBot-VA只有31.4%，FastWAM是48.0%，GigaWorld-Policy更是只有16.5%。這說明一件事：光會預測未來的畫面，對付這類由接觸定義成敗的任務是不夠的。
在自建的NeoSim仿真套件（12個任務，涵蓋單臂和雙臂）上，N0-TWAM同樣以**49.4%**的平均成功率排名第一，領先第二名π0.5（45.8%）。
真正能體現價值的還是真實機器人實驗。在一個8任務的真實世界測試套件里，N0-TWAM的平均成功率達到**46.3%**，對比之下π0.5是30.0%，LingBot-VA是21.9%，FastWAM只有14.4%。差距最大的幾個任務恰好都是那種"藏著秘密"的任務：讓瓶子立起來（Bottle Standing，70%對比最強基線20%）、插插座（Socket Plugging，70%對比60%）、精細抓取水果（Fruit Collection，60%對比50%）、持續用力擦拭桌面（Board Wiping，55%對比40%）。這些任務的共同特點是，成敗關鍵取決於一個攝影機看不見的隱藏接觸狀態，比如物體重心是否在偏移，插頭是否真正插到位。而在那兩個成敗主要靠視覺引導擺放位置的任務上（疊杯子、裝袋子），視覺能力更強的π0.5反而略占上風或打成平手，這恰恰印證了N0-TWAM的優勢確實來自觸覺本身，而不是別的因素。
觸覺不在，模型會不會"失明"
一個自然的問題是，如果傳感器壞了，或者根本沒裝觸覺傳感器的場景，模型會怎麼表現？
論文的答案是一個叫條件丟棄的訓練技巧。訓練時會以10%的概率隨機丟棄語言指令和觸覺條件，但兩者丟棄的方式不一樣。語言丟棄用的是常規的無分類器引導做法，把文本嵌入替換成一個學出來的空嵌入。觸覺丟棄則完全不同，採用的是"缺席"而不是"歸零"，被丟棄的那個訓練樣本，壓根不會有任何觸覺張量傳進網路，觸覺token直接不出現在注意力序列里，觸覺模組這一步也不會收到任何梯度更新。
這個設計帶來的好處是，模型同時學會了純視覺的policy和觸覺條件下的policy，如果部署時傳感器真的失靈或者壓根沒裝，模型會自然退化回它的純視覺自我，而不是去應對一個從沒見過的、全是零值的詭異輸入。這就像一個人平時靠雙眼加手感摸黑走路，如果突然戴上厚手套失去觸感，他不會因為手套的存在而徹底迷失方向，因為他本來就學過完全靠眼睛走路這一套。如果沒有這個丟棄機制，一旦觸覺數據缺失，模型很可能會把這種缺失誤當成某種特殊信號去"過度解讀"，反而做出更離譜的舉動。
論文在泛化實驗裡專門驗證了這一點。在三個不同的泛化考驗中，也就是面對沒見過的物體、沒見過的擺放位置、以及視覺畫面被人為擾動（光照和背景變化）這三種情況分別測試，N0-TWAM在前兩項上和π0.5打了平手甚至略遜一籌，π0.5的大規模視覺語言預訓練確實在應對陌生物體外觀上更有優勢。但在視覺擾動這一項上，π0.5和LingBot-VA的成功率分別跌到25%和30%，而N0-TWAM穩穩保持在45%。這就是觸覺信號價值最直接的體現，當攝影機看到的畫面因為光照變化而變得不可靠時，觸覺傳感器絲毫不受影響，它報告的還是那個真實的、物理層面的接觸狀態。四項平均下來，N0-TWAM以51.7%排名第一，雖然不是每一項都拿第一，但它是那個摔得最不慘的選手。
拆解實驗：每個部件都在出力
一個模型效果好，到底是哪個部分在起作用？論文做了系統的消融實驗來回答這個問題。
首先測試的是預訓練數據規模的影響。如果只用20%的預訓練數據熱啟動，其他條件完全不變，UniVTAC上的成功率會從84.5%掉到65.4%，掉了將近20個百分點。這說明預訓練數據規模是這個模型里最重要的單一因素，觸覺世界模型這件事，終究還是數據餵出來的，不是單靠架構巧思就能憑空變出來的。
接著測試的是拿掉預測觸覺這條通道會怎樣。做法很巧妙，不是把這條通道直接刪掉（因為它已經深深嵌入了骨架的自注意力結構和去噪目標里），而是做了一個資訊層面的消融，把預測觸覺的隱向量在加噪前直接清零，序列結構、掩碼、損失函數都保持完全一致，只是讓這條通道不再攜帶任何真實資訊。結果UniVTAC上的成功率降到71.8%，NeoSim上更是從49.4%驟降到41.1%。
再測試拿掉觀測觸覺這條通道，也就是徹底不實例化那個交叉注意力分支。UniVTAC成功率降到70.5%，NeoSim更是直接掉到29.6%，跌幅比拿掉預測觸覺還要明顯。
這組數字很直觀地說明了一件事：預測的觸覺和觀測的觸覺這兩條通道各有各的貢獻，誰都替代不了誰，它們對應的是兩種不同的失敗模式。預測的觸覺幫模型在動作真正做出去之前就規避掉那些"看起來對但實際上接觸狀態不對"的錯誤選擇，觀測的觸覺則在接觸已經發生之後提供實時的糾偏信號，應對打滑、剪切力異常、壓力過大這些突發狀況。這就像開車既需要提前觀察路況來預判（預測觸覺），也需要方向盤上實時的路感反饋來糾正（觀測觸覺），少了任何一個，整體的駕駛安全感都會打折扣。
一些樸素但重要的工程細節
論文裡還有幾個不太起眼但很實在的技術選擇，值得單獨說說。
關於動作參數化，論文對比了增量（delta）位姿和絕對位姿兩種表示方式在四個對齊精度要求高的任務上的表現。增量表示的平均成功率是50.0%，絕對位姿則是82.5%，差距非常明顯。原因在於，增量表示是以每個時間片段起點為錨點計算的，誤差會隨著片段推進不斷累積，而絕對位姿直接把目標錨定在世界坐標系裡的固定位置，不受累積誤差影響。這提醒我們一個道理，同一套參數化方案不可能在所有任務上都是最優解，統一多機器人策略用增量表示是為了跨平台的可遷移性，但碰到那些毫米級精度要求的具體任務，還是得切回絕對位姿。
關於仿真觸覺的真實感，論文還專門做了一個有意思的實驗。仿真器默認輸出的觸覺圖像是一種乾淨、平滑、確定性的渲染方式（叫Taxim），跟真實的視覺觸覺傳感器拍出來的那種帶噪點、帶紋理顆粒感的銀色膠體圖像完全不是一回事。研究者專門重新渲染了一版更接近真實傳感器外觀的圖像，加入了噪點、顆粒紋理和深度陰影，結果發現在這種更真實的渲染下訓練評估，模型性能只有輕微下降，UniVTAC從84.5%降到82.4%，說明外觀的真實感本身對準確率影響不大。更有意思的是，如果用這個更真實的渲染再配上預訓練好的NeoForce力學編碼器去讀取，性能反而進一步提升到88.1%，這相當於給出了一個跨越仿真到真實世界的信號，一旦仿真觸覺的外觀足夠接近真實傳感器，一個在真實觸覺上預訓練好的力學編碼器就能直接遷移過去發揮作用。
Q&A
Q1：N0-TWAM是什麼？
A：N0-TWAM是NeoteAI團隊和復旦大學可信具身智能研究所聯合推出的觸覺原生世界-動作模型，它能同時預測機器人未來會看到的畫面和會感受到的觸覺信號，再據此生成動作，是首個在大規模數據上訓練的觸覺世界-動作模型，在接觸密集型操作任務上表現突出。
Q2：N0-TWAM和普通的機器人操作模型有什麼區別？
A：普通的視覺-語言-動作模型只根據當前畫面直接輸出動作，沒有對未來的預判，也不處理觸覺資訊。N0-TWAM則用混合專家架構，讓視覺、觸覺、動作三個專家共享注意力，先聯合預測未來的畫面和接觸狀態，再讓動作專家據此生成動作，同時觸覺還分為預測和觀測兩條通道分別發揮作用。
Q3：N0-TWAM在實際測試中表現如何？
A：在公開的UniVTAC仿真基準上達到84.5%成功率，在自建的NeoSim仿真套件上達到49.4%，在真實機器人的8任務測試中平均成功率46.3%，均超過對比的視覺-語言-動作模型和純視覺世界-動作模型基線，尤其在需要判斷隱藏接觸狀態的任務上優勢明顯。
