11月3日，釘釘宣布AI魔法棒功能正式上線。
作為阿里系接入大模型的一個重量級應用，釘釘AI魔法棒已經在釘釘聊天、文檔、知識庫、腦圖、閃記、Teambition等17項產品、60 場景中開放測試。
我們近日就其中應用最多的聊天AI、文檔AI進行了一系列應用測試，感受了一下阿里大模型具體在協同辦公軟體中的應用體驗。
語意理解完整，有時也會「犯懶」
釘釘魔法棒是被直接作為一個功能模塊嵌入到釘釘頁面頂部，是實實在在以一個「魔法棒」的標識出現的，在正式上線後，釘釘魔法棒已經可以正常使用，不過，現在的釘釘AI魔法棒依然有明顯的「邀請測試」標識。
由此可見，釘釘認為這一功能還需要繼續進化。
作為通過大模型提供基礎能力的產品，釘釘AI魔法棒首先是一個Chatbot。
在測試過程中，我們首先讓它回答了哲學三問：你是誰？從哪裡來？到哪裡去？
面對這樣一個看似簡單的問題，釘釘魔法棒能夠get到這三個問題的字面意思，並給出一個相對正確的標準答案。
進一步交流後，我們發現，釘釘魔法棒也有「犯懶」的時候，當你問它「釘釘這款軟體怎麼樣」時，它會先給你一個簡單的介紹，告訴你這是阿里旗下的企業協作平台，擁有打卡簽到、審批、日誌等一些功能。
但關於釘釘的更多功能介紹，則是會甩給你一份產品使用手冊，讓你自己查閱。
在一系列對話測試中，作為一個Chatbot，釘釘魔法棒已經有了不錯的理解能力和應答能力，你可以讓它幫你推薦幾款好用的線上辦公軟體、也可以讓它給你規劃一個美國七日游的出行攻略，甚至可以讓它就一些軟體進行簡單的功能對比。
優點是，釘釘魔法棒有問必答，而且大多數情況能夠給出一些建議；缺點是，它目前給出的答案並不一定是最優解，也不一定會有多詳細。
例如，釘釘魔法棒推薦的辦公軟體中，有一款軟體是「航天易辦公app」，我們並沒有在安卓手機應用商城中找到這款軟體，顯然這款軟體很難說是一款主流或好用的協作辦公軟體。
而在被問及「飛書是不是比釘釘更好用」時，釘釘魔法棒也會指出，「釘釘界面比飛書稍有繁瑣，有一些廣告和推銷資訊，如果用戶注重簡潔無廣告，飛書確實更適合。」
作為測試版功能，釘釘也在生成的每個內容後增加了評價反饋極致，如果你對生成的內容不滿意，可以直接給負評，並從「內容不匹配」、「內容不完整」、「表達不合邏輯」、「存在事實性誤差」、「有敏感詞或觀點」五個選項中選出不滿意的原因。
由於接入了通義萬相，釘釘魔法棒也具備文生圖功能，不過，這一功能在聊天AI功能中無法正常啟用，需要手動切換到文檔AI功能中再使用。
依然有幻覺，辦公新助手
釘釘魔法棒的文檔AI功能，有點像微軟引入ChatGPT的word文檔，可以提供一些文生文、文生圖、文生表格等功能。
在文檔AI中，當我們讓釘釘魔法棒「為以大模型為主要討論內容的年會做一個半天的活動策劃」時，它會自動生成年會的各個環節設置，並就相應環節做出一兩句話的簡要介紹。
如果對生成的內容不滿意，你可以通過「換一換」功能，讓釘釘魔法棒根據這個需求重新生成一個策劃。
根據半天活動需求，釘釘魔法棒原本生成了8個環節，而且生成的「主題演講」和「主題論壇」環節上其實是重複的，除此以外，生成的其他內容與主題演講內容加起來，已經遠超出半天所能涵蓋的內容。
因而，在文檔AI中通過釘釘魔法棒生成的內容更多是為我們提供創意和思路，最終生成的內容在應用時還需要二次調整。
不過，為了測試釘釘魔法棒的AI能力，我們在此基礎上也嘗試讓它「繼續寫」了三次，最終它給出了20個環節，但其中生成的部分環節多有重複，這也是當下生成式AI仍然存在的「幻覺」問題的體現。
除此以外，「文生文」功能中，還可以對生成的內容進行諸如潤色內容、豐富內容、精簡內容、改寫語氣等調整，這些功能對於學生寫論文或員工做匯報，尤其是文案創作者在改文案時，甲方提出諸如改語氣、豐富或精簡內容明確需求時，會有一定幫助。
隨後我們又讓釘釘魔法棒「根據前面的大模型年會製作一張議程表格」（流程經調整），得到了如下圖右側的這張表格：
可以看到的，表格和流程並沒有完全對齊，而且生成的是一整天的活動議程。
最後，我們還通過釘釘魔法棒為「大模型年會」生成了一張主題圖片，從而完成了這次「大模型年會」的文案策劃。
值得注意的是，釘釘為文檔AI加入了一個特別的「排版美化」功能，通過這一功能，你可以直接為你的word文檔套用釘釘事先製作好的幾個模板，來對內容進行整體美化。
小結
整體測試下來，我們有以下幾點感受：
1、釘釘魔法棒生成內容的邏輯性已經很不錯，但對內容的理解能力，尤其是隱喻、比喻等更深層含義的理解能力依然需要繼續優化；
2、AI大模型正在改變內容生產模式，新的內容生產模式中，我們更多需要考慮的是如何提供精準的提示詞，讓AI為你分擔重複、繁瑣的工作，例如擬一個年會流程、做一個簡單的活動策劃等；
3、現在AI生成的內容更多是為我們提供框架和靈感，還做不到一步到位，給你一個完整的作品，因而現在的AI更多是被定義為copilot。
對於大多數人來說，初次體驗與AI合作會很吃力，不知道它的能力邊界在哪裡，也不知道如何讓它為我們生成我們想要的內容，但AI終究是大勢所趨，儘量將AI作為工具、融入工作中，是避免被AI代替最好的方式。
