這項由清華大學深圳國際研究生院、哈爾濱工業大學（深圳）、小米、浙江大學及鵬城實驗室聯合完成的研究，以預印本形式發布於2026年7月，論文編號為arXiv:2607.04425，感興趣的讀者可通過該編號檢索完整論文。
你有沒有想過，未來的AI助手能像真人一樣，既能熟練操作電腦上的Word、瀏覽器、文件夾，又能靈活地在手機上點擊、滑動、回復消息？這聽起來理所當然，但實現起來卻遠比我們以為的難得多。研究團隊在探索這個問題時，發現了一個頗為有趣的困境，並為此設計了一套獨特的解決方案。
故事要從一個基本問題說起：AI怎麼學會"用軟體"？和人類學技能的方式類似，AI需要大量的"示範操作"來學習，比如看著人類怎麼打開文件、怎麼填寫表單、怎麼在手機上發微博。這些示範操作就是所謂的"交互軌跡"。然而，同時讓AI學會在電腦和手機上都能靈活操作，研究團隊碰到了兩道難關。
第一道難關是數據太少且質量參差不齊。現有的示範操作數據大多只覆蓋單一平台，而且裡面混有很多無效操作、錯誤的步驟記錄，或者任務描述和實際操作對不上的情況，就像一本食譜里有的步驟寫的是"加鹽"，但配圖卻是在切菜，讓人看得一頭霧水。
第二道難關則更為微妙：電腦和手機的操作習慣根本不一樣。在電腦上，"返回上一步"通常意味著關閉當前窗口或按Ctrl+Z撤銷；但在手機上，同樣的意圖卻是點擊螢幕左下角的"返回"按鈕。把這兩套截然不同的操作邏輯混在一起訓練，AI很容易"混亂"，不知道該按哪套規矩來。這就好像同時讓一個人學用筷子和刀叉，結果他拿著刀叉去撈湯里的麵條，又用筷子去切牛排——兩邊都沒學好。
為了破解這兩道難關，研究團隊做了兩件事。一是親手整理了一套高質量的跨平台操作數據集，命名為Uni-GUI；二是提出了一種名為UI-MOPD的訓練方法，讓一個"學生AI"同時向兩位專門的"老師AI"學習，並且根據當前是在操作電腦還是手機，自動決定聽哪位老師的話。最終，這個學生AI在電腦任務上的成功率達到了38.2%，在手機任務上也達到了12.0%，相比出發點分別提升了約12.7%和55.8%，而且兩個平台的能力都沒有相互拖累。
一、先把"教材"做好：Uni-GUI數據集的誕生
要培養一個能同時在電腦和手機上工作的AI，首先得有足夠好的練習材料。研究團隊為此搭建了一套統一的"數據採集流水線"，可以理解為一座同時擁有電腦實驗室和手機測試間的訓練工廠，而且兩個車間用的是同一套記錄格式，方便後續統一處理。
整個數據採集過程分為四個環節，環環相扣。第一步是"出題"，團隊讓兩個強大的AI模型分別負責電腦和手機端的題目生成。具體來說，電腦端的題目由Kimi-K2.6來出，它會先在電腦操作環境裡掃描有哪些真實可用的功能，再根據這些功能生成合理的用戶任務，比如"把LibreOffice表格里的數據複製到Writer文檔里，並保存為price.docx"。手機端的題目則由Gemini-3.1-Pro來出，它同樣從真實的手機應用環境裡提取可操作的功能點，再生成自然的用戶指令。這種"先摸清環境、再出題"的方式，大大降低了出現"雞同鴨講"——也就是任務要求和實際環境對不上——的情況。
第二步是"解題"，讓這兩個AI模型在真實的電腦和手機環境裡，按照生成的題目一步一步執行操作，並把每一步的截圖、操作動作、中間思考過程都記錄下來，形成原始軌跡。
然而原始軌跡里噪音很多，所以第三步是嚴格的"清理"。團隊制定了一套多層過濾標準：首先剔除結構不完整的軌跡，比如步驟不連續或有重複步驟的；然後過濾掉包含學生AI無法執行的操作類型的軌跡；接著去掉超過40步的過長軌跡，因為這類軌跡往往包含低效探索或錯誤積累；再刪除任務描述與實際環境不符的軌跡。最後，用Gemini-3.1-Pro充當"質檢員"，逐條評估軌跡是否真正完成了任務。評估時，質檢員會先把每個任務拆解成一系列子任務，然後逐步驟檢查每個子任務是否被完成，只有全部子任務都通過才算合格。這種細粒度的質檢方式，比一次性判斷整條軌跡好壞要精確得多。
第四步是"格式化"，把留下來的優質軌跡統一改造成學生AI能直接使用的格式。這包括兩項工作：一是把原始AI的推理過程重寫為標準化的"結構化思維鏈"格式，因為Kimi和Gemini各有自己的思維表達習慣，直接拿來用可能會干擾學生AI自己的輸出習慣；二是為每個需要點擊或操作具體界面元素的步驟，重新標註目標區域的邊界框坐標，方便後續用規則評估操作是否打在了正確位置上。
經過這套流水線處理，團隊最終獲得了Uni-GUI數據集。這套數據集包含電腦端約7800條自采軌跡加上約800條來自OpenCUA開源項目的清理軌跡，以及手機端約1000條自采軌跡加上約2700條來自OpenMobile開源項目的清理軌跡，總計約11500條高質量軌跡、約16萬個交互步驟。引入OpenCUA和OpenMobile的目的是擴大覆蓋的應用類型和任務多樣性，但這些開源數據同樣經過了同一套清理流程，而非直接拿來就用。
二、"一個學生，兩位老師"：UI-MOPD的核心思路
有了高質量的教材，下一步就是設計訓練方法。研究團隊的核心思路可以用一個直觀的比喻來描述：培養一名"全科選手"，讓他同時向兩位專科老師學習——一位專教電腦操作，一位專教手機操作——而且無論在哪個課堂上練習，都只接受對應專科老師的指導，兩位老師的教導不混在一起。
這個訓練過程分為兩個階段。第一階段是"培訓老師"。團隊把一個通用的大型視覺語言模型Qwen3-VL-32B-Thinking，分別在Uni-GUI的電腦軌跡和手機軌跡上進行監督微調，訓練出兩個專家級的"老師AI"：電腦老師和手機老師。這兩位老師各自積累了深厚的單平台操作經驗，電腦老師熟知滑鼠點擊、鍵盤快捷鍵、窗口切換的規矩，手機老師則精通點擊、滑動、長按、系統導航的習慣。
第二階段是"培訓學生"。學生AI是一個更輕量的模型Qwen3-VL-8B-Thinking，體量大約是老師AI的四分之一。訓練方式融合了兩種機制：強化學習和"在線蒸餾"。
強化學習的部分可以這樣理解：讓學生AI在真實的電腦或手機環境裡自己嘗試完成任務，每完成一步就根據結果獲得反饋評分，成功的操作得正分，部分正確的得小負分，格式錯誤或完全無效的操作扣大分。這套評分機制讓學生AI能在不斷試錯中逐漸學會哪些操作是有效的。
然而，純粹靠試錯的學習方式有個風險：學生AI可能會走偏，在電腦任務上練得多了，就把手機任務的操作習慣給"覆蓋"掉了，反之亦然。這就是"在線蒸餾"發揮作用的地方。
所謂"在線蒸餾"，可以把它理解為老師在學生旁邊實時提供參考。學生AI每次自己生成一段操作，老師AI就對同樣的輸入也給出自己的判斷，然後計算兩者之間的差距——用一個專業名詞來說叫"KL散度"，但通俗來講就是"學生和老師的回答有多不一樣"。訓練的目標之一就是讓這個差距儘量小，也就是讓學生的操作決策往老師靠攏。
關鍵在於"在線"二字：老師的參考不是預先錄好的固定答案，而是在學生實際執行操作時，針對學生當前真正碰到的那些狀況實時提供。這就保證了老師的指導能精準覆蓋學生真正會犯錯的地方，而不是泛泛地讓學生去模仿老師在另一些場合下的行為。
更重要的是"平台條件路由"機制：當學生AI在做電腦任務時，只有電腦老師的意見會被納入約束；當學生AI在做手機任務時，只有手機老師的意見會被納入約束。兩位老師的指導信號不會混在一起，各管各的地盤。這樣一來，電腦操作的行為規範和手機操作的行為規範在學生AI的參數空間裡形成了各自獨立的"錨點"，強化學習驅動學生AI提升任務完成率，而老師的約束則保證這種提升不會以破壞另一平台的操作習慣為代價。
還有一個細節值得一提：研究團隊設計了一個"自適應KL遮罩"機制。當學生AI在某類任務上的平均得分已經足夠高時，老師的約束信號會自動降低權重，給學生更多自由探索的空間；而在學生表現還不好的任務上，老師的約束則保持較強，防止學生往錯誤方向亂跑。這就像一個聰明的教練，學生已經掌握的動作就少糾正，學生還在摸索的動作就多盯著。
三、實驗結果：數據說話
研究團隊在兩個標準化的測試環境中評估了UI-MOPD的表現。OSWorld是一個評估AI完成電腦桌面任務能力的基準測試，包含361個任務；MobileWorld是評估AI完成手機任務能力的基準測試，包含117個任務。
在與一系列對比方案的比較中，UI-MOPD在兩個平台上都取得了最均衡的成績，電腦端達到38.2%，手機端達到12.0%。相比之下，其他方案往往呈現"顧此失彼"的狀態。
以"混合監督微調"方案為例：把電腦和手機的訓練數據混在一起直接訓練同一個模型，結果電腦端35.0%，手機端只有6.4%，兩頭都沒有UI-MOPD好，尤其手機端差距明顯。這印證了研究團隊最初的擔憂：不加區分地混合兩套操作習慣，會讓模型學出一個"不倫不類"的平均化策略。
"模型合併"方案——也就是分別訓練好電腦專家模型和手機專家模型後，通過權重平均或TIES-Merging算法把兩個模型的參數合併成一個——的表現也不盡如人意。權重平均方案在電腦端達到36.5%，手機端6.8%；TIES-Merging方案電腦端36.8%，手機端則直接歸零，完全失去了手機任務能力。參數合併這個操作，就像把兩本菜譜的食材用量簡單平均——有些菜或許還湊合，但很多菜會因為配比全亂了而變得難以下咽。
與其他多平台GUI智能體的比較也頗具說服力。GELab-Zero-4B在手機端有10.9%，但電腦端只有31.9%；GUI-Owl-7B電腦端達到34.9%，手機端卻只有4.5%。兩者都呈現明顯的單邊偏強特徵。
研究團隊還做了一組分析，用來衡量學生AI從老師AI那裡繼承了多少能力。電腦老師（32B規模）單獨測試時，電腦端成功率高達46.3%；手機老師單獨測試時，手機端成功率為16.2%。學生AI（8B規模）通過UI-MOPD訓練後，電腦端達到38.2%，手機端達到12.0%，相比學生AI的起點（電腦33.9%，手機7.7%）有實質性提升。更值得注意的是，學生AI在手機端的表現12.0%已經超過了32B規模基礎模型的9.4%，說明方法本身帶來的增益不僅僅源於模型規模的差異。
與此形成對比的是，單獨在電腦數據上微調學生AI，電腦端提升到35.8%，但手機端直接降到0%——完全忘掉了手機操作；單獨在手機數據上微調，手機端達到12.8%，但電腦端的提升幅度不如UI-MOPD。這說明單平台專項訓練確實會造成另一平台能力的崩塌，而UI-MOPD能同時在兩端保持穩定提升。
四、通用理解能力有沒有被"連累"？
在提升交互任務能力的同時，研究團隊還關心一個問題：經過這套訓練後，模型對GUI界面的靜態理解能力——比如識別界面元素、定位按鈕位置——是否會有所損失？
他們在四個靜態測試基準上做了評估。AndroidControl?是從AndroidControl數據集中提取的一個子集，包含781條安卓操作軌跡共4260個步驟，用於測試模型在靜態場景下對手機GUI的理解和操作能力；ScreenSpot-Pro和ScreenSpotV2測試模型能否在截圖中準確找到目標界面元素的位置；OSWorld-G則專門評估模型在電腦截圖中的視覺定位能力，涵蓋文本匹配、元素識別、布局理解等多個子項。
結果顯示，UI-MOPD在AndroidControl?上的綜合準確率從基礎模型的78.73%提升到了80.05%，動作類型預測準確率從85.75%提升至87.02%，定位準確率也略有改善。在ScreenSpot-Pro上，UI-MOPD得到43.14%，接近基礎模型的43.71%；在ScreenSpotV2上得90.88%，接近基礎模型的91.27%；在OSWorld-G上則從52.13%小幅提升到52.84%。總體來看，UI-MOPD在通用理解能力上幾乎沒有造成損耗，部分指標還有微小改善。
相比之下，TIES-Merging方案在所有靜態評測上都出現了明顯退步，ScreenSpot-Pro從43.71%跌至37.13%，OSWorld-G從52.13%跌至47.16%，AndroidControl?的綜合準確率從78.73%跌至74.01%。這進一步說明了參數直接合併對模型原有能力的破壞性，而UI-MOPD的在線蒸餾方式則能較好地規避這一問題。
五、從細節看方法的可靠性：案例與實現
論文還通過兩個具體的任務執行案例，展示了UI-MOPD在實際操作中的表現。
手機端的案例是：找到一個分享過希臘食物慕薩卡（Moussaka）的美食用戶，回復他的帖子，內容為"Nice sharing, i love it"。模型需要先從主界面找到社交軟體入口，點進去找到對應的帖子，進入回復界面，輸入指定文字，最後確認發送。整個過程中模型展示了"觀察當前螢幕→制定計劃→預判結果→執行操作"的結構化思維方式，步驟之間銜接有條理，能識別文件瀏覽器里的目標文件並正確點擊。
電腦端的案例是：把LibreOffice Calc當前工作表中的數據複製到LibreOffice Writer的表格里，保留原有格式，並將文件保存為桌面上的price.docx。這個任務需要在兩個不同的辦公軟體之間切換、複製粘貼表格內容，並通過文件保存對話框指定文件名和保存路徑。案例中還展示了模型在菜單點擊失誤後的自我調整——它觀察到多次嘗試後"另存為"菜單仍未出現，判斷是點擊坐標與菜單項位置存在微小偏差，於是再次嘗試，最終成功完成任務。這種在執行過程中觀察反饋、調整策略的能力，是GUI智能體在真實環境中有效工作的重要前提。
在工程實現層面，整個訓練系統運行在64塊NVIDIA H100 GPU上，分布在8個節點中，每個節點8塊GPU。訓練框架使用verl，Megatron-Core負責模型訓練，SGLang負責推理採樣，vLLM負責評估階段的模型部署。學生AI採用2路張量並行、32路數據並行的方式分布運行，老師AI則採用8路張量並行、8路數據並行。每個訓練提示採樣8條輸出，最大輸入序列長度8192個標記，最大輸出長度512個標記。訓練時，視覺輸入只使用當前截圖；推理時，則使用4張歷史截圖加當前截圖，配合完整的歷史操作文本，給模型提供更豐富的上下文資訊。學習率設定為一百萬分之一，在線蒸餾的KL損失係數為0.01，整個訓練過程只跑一個完整輪次。
說到底，這項研究的核心貢獻在於提出了一個相對直接但在GUI智能體領域此前尚未有人系統嘗試的想法：不要讓不同平台的訓練信號混在一起互相干擾，而是給每個平台安排專門的老師，讓學生AI在每次練習時只向對應平台的老師看齊，同時通過在線強化學習持續提升實際任務完成能力。這套思路叫做"多教師在線策略蒸餾"，配合精心整理的Uni-GUI數據集，實現了在一個8B規模的輕量模型上同時提升電腦和手機兩個平台的任務執行能力，並且沒有損害模型對界面的基礎理解能力。
當然，目前38.2%和12.0%的成功率離"能幫人真正幹活"的門檻還有相當距離，手機端的絕對表現尤其還有很大的提升空間。不過，在單個緊湊模型上同時實現兩個平台的均衡提升，同時保持通用理解能力，已經是一個有說服力的起點。隨著跨平台操作數據的進一步積累，以及訓練方法的持續疊代，這類技術或許能逐漸走向真正可用的跨平台AI助手。有興趣深入了解技術細節的讀者，可以通過arXiv:2607.04425查閱完整論文。
Q&A
Q1：Uni-GUI數據集和其他GUI訓練數據集有什麼區別？
A：Uni-GUI最核心的不同在於它同時覆蓋電腦和手機兩個平台，並且經過嚴格的多層清理流程，包括剔除無效操作、過濾格式錯誤、用AI質檢員做子任務級別的成功驗證，最終保留約11500條高質量軌跡。相比之下，現有數據集大多只針對單一平台，且質量控制力度參差不齊。
Q2：UI-MOPD訓練出來的模型在用的時候需要同時加載兩個老師模型嗎？
A：不需要。兩個老師模型只在訓練階段參與，用於提供平台對應的參考信號。訓練完成後，實際使用時只需要部署學生模型這一個模型，不會增加推理階段的資源消耗或系統複雜度。
Q3：為什麼模型合併方法在手機任務上會直接歸零？
A：TIES-Merging等參數合併方法在處理電腦和手機兩個專家模型時，會對參數進行某種"平均化"或衝突裁剪操作。電腦端數據量遠多於手機端（約95K對17K自采步驟），手機端的參數特徵在合併後很可能被大幅稀釋甚至覆蓋，導致模型完全喪失手機操作能力。這也說明單純依靠參數合併無法保留體量較小一方的專項能力。
