如果你最近關注過人工智慧的發展，一定聽說過AI助手可以通過"技能"來變得更加強大。這些技能就像給AI安裝各種專業軟體包一樣，讓它能夠處理從數據分析到網頁開發的各種複雜任務。聽起來很美好，對吧？但現實真的如此完美嗎？
加州大學聖芭芭拉分校聯合MIT計算科學與人工智慧實驗室以及MIT-IBM沃森AI實驗室的研究團隊，最近完成了一項開創性研究，第一次系統性地檢驗了AI技能在真實世界中的實際表現。這項研究發表在2026年的頂級會議上，研究編號為arXiv:2604.04323v1，為我們揭示了一個令人意外的真相。
想像一下，你剛買了一套看似完美的廚具組合，廣告宣傳說有了這些工具，你就能輕鬆製作任何美食。但當你真正開始做菜時，卻發現現實遠比想像複雜得多。你需要從成千上萬種食譜中找到合適的，還要判斷哪些食譜真正有用，更要根據自己現有的食材進行調整。這正是AI技能面臨的真實挑戰。
研究團隊構建了一個包含34,198個真實技能的龐大資料庫，這些技能來自開源項目，涵蓋了網頁開發、數據工程、科學計算等各個領域。他們設計了從最理想到最現實的五個測試場景，逐步揭示技能應用的困難程度。結果顯示，當AI助手必須自己搜索和選擇技能時，性能會急劇下降，在最具挑戰性的情況下，技能帶來的幫助幾乎微乎其微。
一、當完美遇上現實：技能應用的三大挑戰
研究團隊發現，現有的技能評估方法存在嚴重缺陷。以往的研究就像給學生提供標準答案讓他們應付考試一樣不切實際。每個任務都配備了專門定製的技能，這些技能幾乎就是解決方案的逐步指南。比如，要識別洪水期間的美國地質勘探局監測站數據，研究人員會提供三個專門技能：一個詳細說明如何調用特定的API接口，另一個指定確切的數據源網址，第三個包含現成的代碼片段。這三個技能組合在一起，基本上就是一份完整的解決方案。
但在現實世界中，AI助手面臨著三個根本性挑戰。首先是技能選擇問題。即便相關技能就擺在面前，AI助手也必須正確識別哪些值得加載，特別是當它們混雜在眾多其他選項中時。這就好比你面對一個巨大的工具箱，需要快速判斷哪些工具對當前任務真正有用。
其次是技能檢索挑戰。用戶很少會為每個任務預先提供精選技能，AI助手必須自己在龐大的技能倉庫中搜索潛在有用的選項。這個過程類似於在圖書館的海量藏書中尋找特定主題的資料，既需要合適的搜索策略，又需要準確的判斷能力。
最後是技能適配問題。當沒有專門為特定任務編寫的技能時，AI助手必須處理那些只是部分相關的通用技能，從中提取有用資訊，同時過濾掉噪音或無關內容。這要求AI具備強大的資訊整合和篩選能力。
為了模擬這些現實挑戰，研究團隊設計了一系列逐漸增加難度的測試場景。從最簡單的強制加載精選技能，到讓AI自主選擇可用技能，再到在大量干擾項中識別有用技能，最後到完全依靠檢索到的通用技能解決問題。每一步都更接近真實的應用環境。
二、智能搜尋引擎：四種策略的較量
為了幫助AI助手在龐大的技能庫中找到合適的技能，研究團隊開發了一套先進的搜索系統，並比較了幾種不同的檢索策略。這個系統就像一個專門的技能圖書館，需要既快速又準確地響應AI的各種查詢需求。
傳統的直接搜索方法相對簡單，就是把任務描述作為查詢詞，直接在技能庫中尋找相似度最高的前幾個結果。這種方法雖然快速，但往往過於機械，缺乏靈活性。
相比之下，智能搜索方法讓AI助手能夠主動探索和優化搜索過程。研究團隊測試了四種智能搜索策略。第一種是純關鍵詞搜索，AI只能使用基於關鍵詞匹配的搜索工具。第二種是純語義搜索，AI只能使用理解內容含義的密集嵌入搜索工具。第三種是混合搜索但不包含完整內容，AI可以使用關鍵詞、語義和混合搜索工具，但相似度計算只基於技能的元數據資訊。第四種是包含完整內容的混合搜索，在第三種基礎上，相似度計算還會考慮技能文件的完整內容。
實驗結果顯示，智能搜索方法明顯優於直接搜索。在同樣使用語義搜索工具的情況下，智能搜索在前三個結果的召回率上比直接搜索高出18.7個百分點。這是因為AI助手可以疊代地調整搜索策略，檢查返回的候選結果，並根據反饋優化後續查詢。
在各種智能搜索策略中，語義搜索工具大大優於關鍵詞搜索工具，這表明理解內容含義對技能檢索至關重要。當搜索系統能夠訪問技能的完整內容而不僅僅是元數據時，性能會進一步提升，特別是在需要更多候選結果的情況下。基於這些發現，研究團隊在後續實驗中採用了包含完整內容的智能混合搜索作為默認檢索方法。
三、真實世界的嚴峻考驗：性能急劇下降的事實
當研究團隊將測試環境從理想狀態逐步調整到真實條件時，令人震驚的結果出現了。這就像把在實驗室里表現完美的機器人放到真實世界的複雜環境中，結果發現它們的表現大打折扣。
研究團隊使用了三個不同能力級別的AI模型進行測試：代表頂級商業模型的Claude Opus 4.6、中等水平的Kimi K2.5，以及開源強力模型Qwen3.5-397B。每個模型都配對了專門的智能體框架，確保測試結果能夠反映真實的端到端能力。
在最理想的情況下，當系統強制加載所有精選技能時，Claude Opus 4.6的任務完成率達到了55.4%。然而，當系統只是簡單地讓AI自己決定是否加載這些已經提供的技能時，完成率就下降到了51.2%。這個看似微小的變化實際上揭示了一個重要問題：即使相關技能就擺在眼前，AI助手也經常無法正確識別和使用它們。
當研究團隊在精選技能中加入干擾項時，Claude的性能進一步下降至43.5%。技能使用統計顯示了問題的根源：在最理想情況下，幾乎所有測試都會加載所有精選技能，但當AI需要自主選擇時，只有49%的測試加載了所有精選技能，加入干擾項後這個比例更是降至31%。
更嚴峻的挑戰出現在AI必須自己檢索技能的場景中。當精選技能仍然存在於檢索池中時，Claude的完成率降至40.1%。這種下降既因為檢索過程本身的不完美（最好的檢索方法在前五個結果中的召回率也只有65.5%），也因為AI助手需要在更大的候選集合中做出選擇。
最具挑戰性的測試場景是完全移除精選技能，讓AI只能依靠檢索到的通用技能。在這種情況下，Claude的完成率僅為38.4%，只比完全不使用技能的基準線（35.4%）高出3個百分點。更令人意外的是，其他兩個模型的表現甚至比不使用技能時更差，Kimi從21.8%降至19.8%，Qwen從20.5%降至19.7%。這表明不相關的檢索技能實際上可能誤導AI助手，讓它們偏離正確的解決路徑。
這些結果清晰地展示了一個殘酷的現實：技能的好處遠比我們想像的脆弱。當條件變得更加現實時，性能收益會持續惡化，在最具挑戰性的場景中，使用技能的效果幾乎等同於不使用技能的基準水平。
四、技能優化策略：兩種截然不同的改進路徑
面對技能在現實應用中的困境，研究團隊開發了兩種技能優化策略，試圖縮小理想與現實之間的差距。這兩種方法就像兩個不同的醫生，一個專門針對特定病症進行精準治療，另一個則致力於提高患者的整體健康水平。
任務特定優化允許AI助手在面對具體任務時直接探索和調整檢索到的技能。這個過程就像一個經驗豐富的廚師拿到一堆食材後，會先嘗試烹飪，觀察效果，然後根據實際情況調整配方和方法。AI助手首先閱讀任務說明，檢查所有檢索到的技能，嘗試初步解決方案，然後進行自我評估。基於這種探索經驗，AI會反思哪些技能確實有用，哪些可能誤導，最後將有用的部分組合成專門為當前任務定製的優化技能。
這種方法的最大優勢在於能夠跨技能整合資訊。與任務無關優化不同，AI可以從多個檢索到的技能中提取相關部分，將它們合成為單一、連貫的技能，同時丟棄無關內容。例如，在一個張量並行化任務中，AI可能會從一個技能中提取權重分片的概念，從另一個技能中獲取自定義自動梯度模式，然後將這兩部分合成一個提供可微分集體操作的新技能，而原始技能都無法單獨提供這種功能。
任務無關優化則採用完全不同的策略，它試圖在不了解下游任務的情況下離線改進整個技能集合。這種方法的理念是將所有技能提升到接近精選技能的質量水平。由於改進整個34,000個技能集合在成本上不可行，研究團隊只對每個任務檢索到的技能進行優化，將此作為完全改進集合的近似。
為了保持這種離線特性，每個檢索到的技能都是獨立優化的，不了解目標任務或其他檢索到的技能。優化過程利用Anthropic的技能創建器，這是一個編碼編寫優秀技能最佳實踐的元技能。對於每個技能，系統生成該技能可能被使用的合成測試查詢，然後在這些查詢上運行有技能和無技能的智能體，比較兩個智能體的輸出，自我評估技能是否有幫助，並使用這種反饋來疊代改進技能。
這種方法的主要優勢是在推理時成本低廉，可以作為預處理步驟應用。然而，它有兩個限制：無法將技能適配到特定任務的需求，由於每個技能都是獨立優化的，無法跨多個檢索技能組合資訊。
實驗結果顯示，任務特定優化在大多數情況下都是有效的。在檢索池中包含精選技能的SkillsBench測試中，它將Claude的性能從40.1%提升到48.2%，幾乎恢復了與精選設置的差距。在沒有為技能設計的Terminal-Bench 2.0上，任務特定優化也始終改善了所有三個模型的性能。
任務無關優化雖然在某些設置下提供了適度的改進，但收益不一致且有時微不足道。由於無法訪問目標任務，改進過程只能清理格式和提高清晰度，但無法識別技能的哪些部分最相關或跨多個技能合成資訊。
最重要的發現是，優化的有效性很大程度上取決於初始技能的質量。研究團隊使用LLM評判員評估檢索技能集的相關性和覆蓋率，發現任務特定優化成功的設置初始覆蓋分數較高（≥3.83），而失敗的設置分數較低（≤3.49）。這確認了優化更像是現有技能質量的倍增器，而不是新知識的生成器。
五、向通用基準的擴展：驗證方法的普適性
為了驗證研究發現的普遍適用性，研究團隊將技能檢索和優化方法應用到了Terminal-Bench 2.0，這是一個廣泛使用的智能體基準測試，包含89個涵蓋系統管理、文件操作、編程挑戰等任務。與SkillsBench不同，Terminal-Bench 2.0並不是專門為技能設計的，也沒有人工精選的技能，因此AI助手需要從完整的技能集合中進行檢索。
這個額外的測試環境特別重要，因為它代表了真實世界的應用場景，其中AI助手需要處理各種各樣的任務，而這些任務原本並不是為了展示技能的有用性而設計的。這就像測試一個工具箱在各種意外情況下的實用性，而不僅僅是在專門設計的演示環境中。
實驗結果顯示，即使在這個通用基準上，技能檢索和優化方法仍然帶來了顯著的性能提升。對於Claude Opus 4.6，基礎技能檢索將通過率從57.7%提高到61.4%，而加上任務特定優化後，通過率進一步提升至65.5%，總共獲得了7.8個百分點的改進。這種一致的改進模式在其他模型上也得到了驗證，Kimi K2.5從46.6%提升至56.2%，Qwen3.5從44.7%提升至49.1%。
這些結果特別令人鼓舞，因為它們證明了技能系統在超越專門設計的基準測試時仍然具有價值。技能加載率的顯著提升（Claude從40.8%增加到74.9%）也表明，優化過程產生的技能確實更容易被AI助手識別和使用。
有趣的是，在Terminal-Bench 2.0上的覆蓋分數普遍較高（超過3.96），這解釋了為什麼任務特定優化在這個基準上表現良好。這進一步支持了研究團隊關於優化有效性與初始技能質量相關的假設。當檢索系統能夠找到與任務相關的高質量技能時，即使這些技能不是專門為任務設計的，優化過程也能夠提取和增強有用的資訊。
這個擴展實驗不僅驗證了方法的普適性，也為實際部署提供了重要的指導。它表明，在具有足夠相關技能的環境中，智能檢索和任務特定優化可以為各種類型的任務帶來實質性的性能改進。
六、深入分析：技能質量與優化效果的關係
通過對大量實驗數據的深入分析，研究團隊揭示了一個關鍵洞察：技能優化的成功與否很大程度上取決於初始檢索技能的質量和相關性。這個發現就像發現了一個重要的因果關係——好的原材料是製作美味佳肴的前提條件。
為了量化這種關係，研究團隊使用GPT-5.4作為LLM評判員，對每個任務檢索到的技能集進行1-5分的評分，分數越高表示檢索到的技能與任務更相關，並且能夠集體覆蓋目標任務的不同方面。這種評估方法類似於請專家評估一套工具對特定工作任務的適用性和完整性。
評估結果清晰地展示了一個模式：任務特定優化成功的設置（SkillsBench包含精選技能、Terminal-Bench）具有較高的初始覆蓋分數（≥3.83），而失敗的設置（SkillsBench不含精選技能）具有明顯較低的分數（≤3.49）。這個發現有力地支持了一個重要觀點：優化更像是現有技能質量的放大器，而不是全新知識的創造者。
當檢索到的技能包含相關資訊時，即使資訊分散在多個技能中或者匹配不夠完美，任務特定優化也能夠通過探索和組合提取並放大這些有用信號。優化過程就像一個熟練的編輯，能夠從多個粗糙的草稿中提取精華部分，重新組織成一個連貫、有用的最終版本。
相反，當相關技能完全缺失時，優化過程難以合成有用資訊。這就解釋了為什麼在SkillsBench不含精選技能的設置中，即使進行了任務特定優化，三個模型的性能提升仍然很有限甚至沒有提升。在這種情況下，AI助手本質上是在試圖從不相關或低質量的原材料中創造出有價值的東西，這顯然是一個極其困難的任務。
這種質量依賴性還解釋了不同模型在面對低質量技能時的不同表現。更強的模型（如Claude Opus 4.6）能夠更好地忽略不相關技能，而較弱的模型更容易被低質量的檢索技能誤導。這種差異反映了模型在資訊過濾和判斷能力上的根本差異。
研究團隊還發現，技能加載行為與性能改進密切相關。在任務特定優化成功的情況下，技能加載率通常會顯著提升，這表明優化不僅改善了技能內容，還提高了技能的可識別性和可用性。相比之下，任務無關優化雖然可能改善技能的整體質量，但由於缺乏任務特定的上下文，其對技能加載行為的影響相對有限。
這些分析結果為未來的技能系統設計提供了重要指導：高質量的檢索是優化成功的必要條件，技能生態系統應該專注於確保基礎技能庫的質量和相關性，而不僅僅是依賴後期的優化過程來彌補檢索階段的不足。
現實告訴我們，AI技能系統雖然前景廣闊，但要真正發揮作用還需要克服許多挑戰。加州大學聖芭芭拉分校的這項研究為我們提供了寶貴的現實檢驗，揭示了當前技能系統的局限性和改進方向。
說到底，技能系統就像給AI助手配備了一個工具箱，但僅僅有工具是不夠的，還需要知道如何選擇合適的工具，如何正確使用它們，以及如何在工具不夠完美時進行調整。當前的挑戰主要集中在這三個方面：技能選擇、技能檢索和技能適配。
研究發現，即使在最有利的條件下，AI助手也經常無法正確識別和使用可用的技能。當環境變得更加現實時，這個問題變得更加嚴重。在最具挑戰性的場景中，技能帶來的幫助幾乎消失殆盡，有時甚至會產生負面影響。
不過，這項研究也帶來了希望。通過智能檢索策略和任務特定優化，可以顯著改善技能系統的性能，特別是當基礎技能質量合理時。關鍵在於優化更像是質量的放大器而不是創造者——好的輸入是產生好結果的前提。
這些發現對整個AI行業都有重要意義。隨著AI助手在各個領域的應用越來越廣泛，我們需要更好的技能檢索方法、更有效的離線優化策略，以及能夠適應不同模型能力的技能生態系統。未來的研究方向應該專注於提高技能庫的整體質量，開發更智能的檢索算法，以及創建能夠更好地適應各種現實場景的優化方法。
對普通用戶而言，這項研究提醒我們在使用AI技能系統時要保持合理期待。雖然這些系統具有巨大潛力，但目前仍處於發展階段，需要用戶的理解和耐心。同時，了解這些系統的工作原理和局限性，有助於我們更有效地利用現有技術，並為未來的改進提供有價值的反饋。
隨著技術的不斷發展，相信這些挑戰最終會得到解決，AI技能系統將真正成為提升我們工作效率和生活質量的強大工具。感興趣的讀者可以通過arXiv:2604.04323v1查詢這篇研究的完整內容，深入了解更多技術細節和實驗數據。
Q&A
Q1：什麼是AI智能助手技能系統？
A：AI智能助手技能系統就像給AI安裝各種專業軟體包，讓它能夠處理從數據分析到網頁開發的複雜任務。這些技能是可重複使用的知識文檔，包含特定領域的工作流程、API使用方法、編程規範等專業知識，幫助通用AI助手變成各領域的專家。
Q2：為什麼AI技能在現實中效果不如預期？
A：研究發現AI技能面臨三大現實挑戰：技能選擇困難、技能檢索不準確和技能適配問題。即使相關技能就在眼前，AI也經常無法正確識別；在龐大技能庫中搜索合適技能更是困難重重；而且通用技能往往無法完美匹配具體任務需求，需要AI進行複雜的資訊提取和整合。
Q3：如何改善AI技能系統的實際效果？
A：研究團隊開發了兩種優化策略：任務特定優化和任務無關優化。任務特定優化讓AI針對具體任務探索和調整技能，效果更好但成本較高；任務無關優化在離線環境下改進技能質量，成本低但效果有限。關鍵是確保基礎技能庫的質量，因為優化更像是質量放大器而非創造者。
