製造車間、倉庫和生產線的環境往往並不固定——任務會變化、布局會調整、新產品會不斷出現，而大多數機器人如果不經過大量重新編程就難以適應這些變化。
Skild AI
新推出的 S1 機器人基礎模型旨在解決這一問題，其設計目標是讓機器人能夠通過觀看單段影片演示，學會此前從未接觸過的長周期任務。該模型於上周發布，以影片作為輸入來理解並執行任務，且無需更新模型權重或進行任務專屬的後訓練——這種技術被稱為「上下文學習」。
Skild在NVIDIA的AI基礎設施上構建了S1並完成了相關研究，這也是雙方在合成數據生成、模型訓練、仿真以及現實世界物理AI部署等多個領域展開的廣泛合作的一部分。兩家公司正攜手推動可適應性機器人智能從實驗室走向工廠及其他動態運營環境。
「通過經驗學習，而不是預先編程，這是機器人技術領域發生的一次重大轉變，」Skild AI聯合創始人兼首席執行官迪帕克·帕塔克（Deepak Pathak）表示。「NVIDIA Isaac Lab和NVIDIA Cosmos技術幫助Skild打造出可擴展、多樣化的經驗數據，這正是其機器人在眾多場景和不同形態下學習所需要的。」
此次發布之際，該公司在完成首次商業部署10個月後，年化營收已達到1億美元。在此期間，Skild已建立起超過60個部署合作夥伴關係，業務涵蓋製造、物流、檢測、安保、食品加工等多個應用領域。
從一段影片學會新工作
大多數工業機器人是為固定工作而設計的，因此每一種新產品、新流程或新布局都需要更多數據、重新訓練和驗證。
S1採取了不同的方式：操作人員錄製一段所需任務的影片，並將其作為提示提供給模型。模型會解讀演示中的意圖、涉及的物體以及操作順序，然後將這些內容映射為面前機器人可執行的動作——整個過程無需重新訓練，而且這類任務往往並不在其預訓練數據集之內。
S1能夠執行時長最長達10分鐘的陌生任務，包括植物移盆、製作煎餅、手沖咖啡沖泡以及套件組裝等。這些任務可能涉及數十個操作步驟，需要機器人以此前從未執行過的順序組合各項技能。
在一次植物移盆測試中，Skild AI團隊從錄製演示到在硬體上實現自主執行，僅用了11分鐘。該模型還能在物體位置發生變化時進行調整，從錯誤中恢復，並按照未被明確編程的順序組合各項技能。
在Skild針對全新多步驟任務的測試中，其S1機器人在每個步驟的成功率約為66%，而一款類似的AI系統的成功率僅為9%——提升幅度超過七倍。Skild還估計，向機器人展示一段簡短的影片示例，其作用相當於提供約380個實際操作訓練樣本。而人工手動收集這些樣本可能需要耗費50至100個小時。
從研究走向工廠實際作業
S1打破了每次出現新因素就必須不斷重新訓練機器人的循環，操作人員可以直接演示新任務，而無需為每次變化重新收集數據集或運行訓練。在客戶協議允許的情況下，Skild商業部署中積累的經驗可以反饋至更廣泛的模型，從而幫助加速未來的部署。
這項工作已經在工廠車間中付諸實踐。Skild、NVIDIA和富士康正在雙臂操作機器人上部署Skild Brain，用於NVIDIA Blackwell系統的高精度組裝。在一次演示的工作流程中，一台機器人完成了匯流條和限位塊的安裝，擰緊16顆螺釘，並在多步驟任務中應對各種干擾進行調整。這項工作需要精確的運動控制、具備接觸感知的控制能力、順序跟蹤，以及在實際場景與預期計劃不同時進行恢復的能力。
NVIDIA技術貫穿整個開發周期
NVIDIA的加速計算能力為Skild提供了充足的算力規模，使其能夠利用仿真、人類影片、遠程操作以及（在允許的情況下）部署數據來訓練其共享的機器人大腦。NVIDIA Cosmos開放世界基礎模型有助於豐富訓練數據的多樣性，並將影片轉化為結構化描述，而Cosmos Curator則有助於大規模地對數據進行標註、篩選和整理。
Skild廣泛使用NVIDIA的開放仿真框架，在實際部署前對其機器人大腦進行訓練和驗證。NVIDIA Omniverse庫以及NVIDIA Isaac Sim框架提供基於物理規律的虛擬環境，用於生成數據、測試邊緣情況以及驗證行為表現。
Skild還通過在Isaac Lab（一個開放的模組化機器人學習框架）中進行強化學習，進一步強化其機器人大腦的技能水平。在Newton物理引擎的驅動下，Isaac Lab幫助Skild的工程師精確建模力、接觸、碰撞和壓力等各種物理參數，從而縮小仿真與現實之間的差距。
Skild和NVIDIA還在共同開發新的GPU加速仿真求解器，能夠快速而準確地模擬機器人如何在物理層面接觸、抓握和操作固體物體。這些技術不久將作為Newton的一部分，向所有開發者開放使用。
隨著模型逐步走向生產應用，NVIDIA Nsight工具幫助工程師在訓練過程中發現性能瓶頸，而NVIDIA TensorRT軟體開發套件則對推理過程進行優化，使機器人能夠在現實物理世界中快速做出響應。這些技術共同將數據、仿真、訓練和部署等各個環節連接起來，而不是將它們視為彼此獨立的系統。
Q&A
Q1：Skild AI的S1模型有什麼特別之處？
A：S1是Skild AI推出的機器人基礎模型，其最大特點是可以通過觀看單段影片演示，學會此前從未接觸過的長周期任務，無需更新模型權重或進行專門的後訓練。
Q2：S1機器人的任務成功率如何？
A：在針對新的多步驟任務的測試中，S1機器人每個步驟的成功率約為66%，相比之下類似AI系統的成功率僅為9%，提升幅度超過七倍。
Q3：Skild AI和NVIDIA的合作具體體現在哪些方面？
A：雙方合作涵蓋合成數據生成、模型訓練、仿真以及實際部署等多個環節，包括使用NVIDIA Cosmos、Isaac Lab、Omniverse等技術，並與富士康合作將Skild Brain部署於NVIDIA Blackwell系統的組裝工作中。
