宅中地 - 每日更新
宅中地 - 每日更新

贊助商廣告

X

OpenAI DevDay:從「能用」到「快過人類」,Computer Use 的躍遷時刻

2026年10月01日 首頁 » 熱門科技

2026年9月,OpenAIOpenAIDevDay從能用到快過人類ComputerUse的躍遷時刻在DevDayOpenAIDevDay從能用到快過人類ComputerUse的躍遷時刻發布了一批面向Agent開發者的新工具,Computer UseOpenAIDevDay從能用到快過人類ComputerUse的躍遷時刻從一個"能跑但慢"的實驗性功能,變成了一個在多數任務上比普通人操作更快的系統。Ari WeinsteinOpenAIDevDay從能用到快過人類ComputerUse的躍遷時刻負責OpenAI Computer Use的產品與工程工作,此前曾在Apple做自動化工具,後創立SkyOpenAIDevDay從能用到快過人類ComputerUse的躍遷時刻並隨之加入OpenAI。在DevDay結束後的第一時間,他與主持人swyxOpenAIDevDay從能用到快過人類ComputerUse的躍遷時刻和VibhuOpenAIDevDay從能用到快過人類ComputerUse的躍遷時刻坐下來,把這次發布的技術邏輯說透了。第二個嘉賓NikunjOpenAIDevDay從能用到快過人類ComputerUse的躍遷時刻來自OpenAI的API團隊,專門講開發者側的新能力。這期節目來自Latent SpaceOpenAIDevDay從能用到快過人類ComputerUse的躍遷時刻播客,錄於2026年9月底。

1. "180度不同":Computer Use在過去幾個月里究竟變了什麼

幾個月前,有知名AI播客說Computer Use兩年沒有進展。Ari聽到這個評價後,給出了自己的回應:"我希望他們現在已經有了不同的看法,因為Computer Use現在是180度不同的產品了。"

真正的轉折發生在模型能力的一個具體維度上:調試能力。早期的Computer Use可以可靠地啟動任務,但碰到問題就卡死了;現在的模型會反省、會重試、會判斷哪裡出了問題。這不是一個漸進的改善,而是讓整個系統從"可以演示"變成"可以用"的質變。

與此同時,Computer Use的執行方式也發生了根本變化。展開CodexOpenAIDevDay從能用到快過人類ComputerUse的躍遷時刻里的工具調用記錄,你會發現它不再是一步一步截圖點擊,而是在寫JavaScript代碼,讓電腦批量執行一組動作。接口層也變成了多模態的混合:截圖、Accessibility樹、DOM、Playwright——模型會根據任務類型選擇最合適的交互方式。

2. GPT-6.1 Soul:成本和速度的雙重突破

這次DevDay的核心模型是GPT-6.1 Soul。Ari提到了兩個數字:相比上一代Astra,它的成本是五分之一;如果專門看Computer Use場景,成本是七分之一。這個降幅超出了基礎推理成本的改善幅度,說明新模型在Computer Use任務上做了有針對性的優化。

速度的提升讓整個用戶體驗發生了變化。Ari分享了一個自己的例子:他訂閱了一個高度可定製的備餐服務,可以精確到每克雞肉、每克米飯的配比,但操作太繁瑣,他自己做一次訂單要兩個小時。他讓Computer Use在GPT-6.1 Soul上跑了一次,15分鐘搞定——不只是節省了時間,而是速度快了8倍。

當一個工具比你快8倍並且還幫你省了兩小時,它就從"可選"變成了"必用"。

3. Dots:每個Agent擁有自己的Linux電腦

Dots是這次發布里產品形態變化最大的東西。它和之前的Computer Use產品有一個根本區別:每個Dot在雲端擁有一整台Linux虛擬機。

此前的形態是:要麼訪問雲端的一個瀏覽器,要麼操控你自己的本地電腦。現在是完整的Linux桌面環境——可以跑完整的桌面應用,也可以開瀏覽器。這意味著Agent的能力上限不再受限於瀏覽器沙箱,而是和一個真正的雲端工作站相當。

Ari的解釋很直接:所有軟體都是為人設計的,Computer Use讓Agent能用同一套軟體。Dots把這個能力變成了一個持久的、有狀態的個人助理——你不需要每次都重新配置環境,Dot記住了你,也記住了上次的狀態。開發者和用戶可以從"我能做什麼"變成"它能替我做什麼"。

4. 測量進步:Benchmark之外的真實改善

Computer Use的測量比一般模型評測複雜。生產環境裡的安全檢查、不同任務的配置差異,讓單一數字很難說明問題。Ari的態度是:無論用哪種測量方式,改善是一致的——有時候改善來自Harness,有時候來自模型,通常是兩者合力。

Keynote上提到了7倍的速度提升,這個數字體現在多個基準測試上。但Ari更在意的是帕累托前沿:速度和準確率同時往好的方向移動,而不是犧牲其中一個換另一個。這是系統級的改善,不是單點的數位遊戲。

他也坦承,"今天"和"昨天"的差別可能不如"過去兩個月"的差別大。Computer Use是一個快速疊代的系統,每一天的改善都在累積,但真正的質變是發生在更長的時間跨度上的。

5. App Shots與多模態輸入:給模型更豐富的上下文

App Shots是一個在Keynote里演示過但細節不多的功能。它的核心邏輯是:普通截圖只給了模型一張像素圖,App Shots會把你當前正在操作的應用上下文以更結構化的方式帶入Codex或ChatGPT,讓模型理解你在做什麼,而不只是"看到"一張圖。

Roman在演示里展示了一個場景:Computer Use自動給應用截圖,同時他可以繼續用自己的電腦做別的事情,兩者互不干擾。這是Computer Use從"占用你的螢幕"變成"在後台幫你跑"的關鍵一步。

這也呼應了Ari對多模態接口的判斷:截圖、Accessibility樹、DOM、Playwright這些不是競爭關係,而是工具箱。模型知道什麼時候用哪個,這本身就是能力的體現。

6. Decisions API:低延遲推理的另一套邏輯

Nikunj帶來了Developer側的另一條線:Decisions API。它的定位和Computer Use里用的模型不同——沒有推理步驟,是一個更小的模型,支持並行推理,速度極快。

Ari解釋了兩者的關係:Decisions API非常適合快速、高頻的判斷任務,但在長周期、複雜任務上不如Computer Use用的大模型。如何把兩種能力結合起來,目前還是開放的研究問題。

這個API的誕生故事本身就值得一提。Nikunj描述了一個典型的OpenAI內部節奏:推理基礎設施團隊的工程師看到一個原型覺得很興奮,直接開始黑客式地實現,原型跑通了,然後就開始"爬山"——一輪輪壓延遲,達到目標就發布。從靈感到準備發布,周期極短。Ari補充說,OpenAI內部已經在用Decisions API做客服分類和其他工作流,這是把自己當第一個用戶的做法。

7. 下一步:從"比人快"到"比專家快"

Ari在開篇和結尾都回到了同一個判斷:Computer Use現在在大多數任務上已經比普通人快了。下一個目標是"literally superhuman"——不只是快過普通用戶,而是快過真正的專家級電腦用戶。

這個目標一旦實現,產品形態會發生根本變化。Ari認為,到那時才能真正構建出實時體驗的產品——Agent的速度不再是用戶體驗的瓶頸,交互方式會從"委託任務然後等待"變成"實時協同"。

這也是這次DevDay整個敘事的核心:從研究成果到產品工具,Computer Use走完了第一段路。接下來的問題不是"能不能用",而是"快到什麼程度才算夠"。

Computer Use最初被質疑的那個問題——"兩年沒有進展"——現在有了一個具體的回答:從"可靠地開始任務"到"比專家更快地完成任務",這段路走了不到一年。

宅中地 - Facebook 分享 宅中地 - Twitter 分享 宅中地 - Whatsapp 分享 宅中地 - Line 分享
相關內容
Copyright ©2026 | 服務條款 | DMCA | 聯絡我們
宅中地 - 每日更新