在正文之前，首先感謝本期內容的聯合創作者 @SysErr0r ，他搜集了超多的相關資料，並且把他們有邏輯的編排在一起，完成了初稿的撰寫。
從 ChatGPT 上線開始，全世界的廠商和媒體都在不停地重複這個詞：AI。但同樣是頭部公司，蘋果卻直到最近才參與到這次如火如荼的 AI 浪潮當中。
有人說是蘋果低調，輕易不顯山露水，也有人說這純屬扯淡。蘋果最近破天荒地在公開場合主動提到「AI」這兩個字，不僅落後，而且急了。蘋果在 AI 領域到底是個什麼水平？他們都幹了些什麼？今年的 WWDC，蘋果又會有哪些動作呢？
▍過往的積累
那其實跟很多報道的風向不太一樣，蘋果對 AI 技術的應用開始得很早，而且一直是很積極和具體的。只不過蘋果吧，用詞兒比較隔路，它在今年之前，一直用「機器學習」來指代整個這一大類的技術。
我問一下啊，就螢幕前各位 AirPods Pro 2 的用戶，你現在回憶一下自己上一次戴上耳機以後，去動音量是什麼時候？AirPods Pro 2 有一個獨占功能叫「個性化音頻」，它就是利用機器學習了解你在不同環境下，所需要的音量偏好，然後自動去給你微調。
這個功能，再加上自適應噪聲控制，和自動設備切換，基本上等於幹掉了耳機上所有需要手動控制的地方。用戶只需要做一件事兒，那就是打開盒子，戴上耳機。
用戶層面，像 GPT-2 模型驅動的自帶輸入法的單詞預測，iOS 17 手記 App 里的智能建議，watchOS 9 開始自帶的睡眠分析 App，這些東西的背後都是機器學習。
還有很多甚至是更加基礎和不可見的，比如說很多輔助功能，像 Apple Watch 的手勢捏合，就是結合加速度計和心率傳感器的數據，在手錶本地跑了一個模型。再比如 Sign in with Apple 背後一整套的風控機制。
還有 iOS 和 iPadOS 剛上的那個眼動追蹤，就眼動追蹤這個能力，換成有些公司，一定都會先拿來做成用戶注意力熱區檢測的 API，然後拿去賣廣告。
它真的，我哭死（
就連自然語言處理這方面，蘋果也是早在 2020 年就在系統里提供了本地運行的基於詞、句向量的計算以及對句子成分和關係進行推理比較的 API。
Vision Pro 更是這樣，它的兩大基礎能力，手勢識別和房間建模，都是 AI 模型驅動的。可以說如果沒有機器學習，Vision Pro 這個產品幾乎不可能存在。
但是 iOS 上最古老的、機器學習驅動的軟體功能，可能絕大多數用戶手機從買到扔，一次都沒打開過。在相冊裡頭，點開下邊那個「為你推薦」，這裡頭那個它自動分類、生成的這些「回憶」影片，就是蘋果第一個有據可查的 AI 功能。從 2016 年的 iOS 10 開始就實裝了。
其實 iOS 第一個 AI 功能這項殊榮，本來應該是 iPhone 7 Plus 的人像模式，它那個景深分割也用到了機器學習，但是最後因為軟體更新的關係，7 Plus 的人像模式一直到 iOS 10.1 才正式推出。可見蘋果不光機器學習的應用歷史悠久，軟體做的慢也是老傳統了。
▍現實的窘境
那按這麼說，蘋果在 AI 領域不光不落後，甚至還遙遙領先嗎？應該這麼說，在大模型出來之前，蘋果的體驗確實算是不錯的，只是他的 AI 能力用在了很多功能細節上，來幫助用戶減少使用步驟，但是像 Google IO 那種全場 AI 的大活確實少一些，Siri 也是有點躺平的意思。
但是在 22 年底 ChatGPT 出來之後，大語言模型這個詞一下就出現在了普通人的視野當中，而這恰恰是蘋果技能樹偏弱的部分。這個東西的背後是以注意力機制，和巨大參數量的大語言模型為代表的，機器學習領域的一次範式轉移。這兩個東西結合起來，讓 AI 模型具備了以前難以想像的性能和能力。
歷代 GPT 參數量對比
新老兩代技術對比
一個最明顯的例子是在 ChatGPT 之前，不管你說什麼都能接住的聊天機器人幾乎是不存在的。這一波範式轉移，就是讓包括蘋果在內的所有消費電子公司，都如坐針氈的真正原因：大語言模型的出現讓人類的自然語言第一次變成了一種可行的人機交互界面。
就像 iPhone 用觸摸屏取代了機械按鈕一樣，HUMAIN 的 AI Pin 和 Rabbit R1 賭的都是同一件事兒，那就是這一次人機交互界面的變革將再一次顛覆消費電子產品的主流形態。但是很可惜，從發售以後的評測來看，這兩家公司的產品，差的都太遠了。Rabbit R1 甚至連天氣預報這麼基礎的東西都能順嘴兒胡編。自定義能力也很差，甚至還不如 Siri。
The Verge Rabbit R1 評測文章
▍蘋果真的落後了嗎？
前進半步是先進，前進三步是先烈。從語音交互這個角度講，母公司當年的 TNT 死得實在是太早了。但是這產生了一個新問題，就是為什麼蘋果在 AI 領域應用的這麼積極，在大模型領域還是慢了半拍呢？
首先肯定不是因為外部的物質條件。人才、算力、訓練數據，這些能用錢解決的事兒對字面意義上富可敵國的蘋果來說都構不成問題。實際上根據現有的報道，蘋果從 18 年到現在，已經從谷歌最少挖走了 36 個 AI 領域相關的技術人才。AI 伺服器也準備直接上 M2 Ultra，自給自足。至於大模型的訓練，海外媒體估算 GPT-4 的訓練成本大概在 6300 萬美元左右，而蘋果 2023 財年的淨利潤高達 969.95 億美元，眼一閉，一睜，五個半小時就全掙回來了...
那既然不是物質條件的原因，這事兒就只能是跟蘋果的主觀意願有關了。
一方面蘋果是一家極度關注「技術落地」的公司，他追求的是敢為人後、後中爭先，純粹的技術預研風險高、落地周期不可控，這不是他擅長的東西，就你什麽時候看見過蘋果發布會的發言人掛的 Title 是蘋果研究院嗎？沒有，他壓根就沒有研究院這個東西。而蘋果擅長的是，哪個公司搗鼓出新玩意，他直接買過來就是了，然後把技術工程化，把東西量產出來，他做的更多是工程創新，甚至可以說是工程奇蹟。
Vision Pro 的硬體說起來，沒有任何東西超越了行業的技術水平和想像力
但這個世界上最重要的技術創新，大部分都是幾個科技公司的研究院搞出來的，就比如說大模型的基石 Transformer，他就是谷歌研究院的傑作。可以說真正的脫產，往往才能有真正的創新。這個問題大夥可以去看楊玄感老師的這條影片，講得老牛*了。
那另一方面，我覺得也是路徑問題。大語言模型能力大小某種意義上是跟參數量大小綁定在一起的。巨大的參數量，也讓它幾乎跟端測運行說再見了。OpenAI 今年 4 月出了一個新的 Batch API，把你的請求放在一個文件里打包上傳，可以在 24 小時內返回結果，費用打五折，完全是大型機時代的運行模式。這些跟蘋果過去在機器學習領域的產品實踐正好是完全相反的。
可以說，蘋果在這一輪範式轉移的過程中慢了一步，是無可爭議的，但這時候一棒子敲死蘋果還為時尚早，蘋果之所以堅持不做脫產預研，也是因為他認為，技術只是解決問題的一種手段，最終都要落回到實際體驗，而好的體驗是有很多部分組成的，技術領先固然重要，但是當技術不具備領先性時，對於問題的思考和洞察，其實同樣重要。這是蘋果構建護城河的重要基石，就像我們以前講到的，蘋果雖然沒有發明、也沒能力製造 OLED，但是他依託供應商的 OLED 屏構建了全流程的 HDR 生態，依然在很長一段時間做到了體驗領先。
而在 AI 領域，蘋果依舊有著非常多的積累。
首先是硬體層面的積累，前面我們說了，機器學習近 10 年來始終是蘋果產品不可分割的一部分。這裡面所有的功能都是硬體驅動的。蘋果的 Neural Engine 從 A11 Bionic 開始算力就一路水漲船高，再加上 CoreML，讓蘋果能夠迅速地把 AI 驅動的功能帶到每一台條件允許的蘋果設備上。
蘋果不做中端晶片，只有旗艦晶片，去年的旗艦晶片，還有大去年的旗艦晶片，還有……
這樣的模式，在這時候就能體現出優勢了，向大模型的技術路線遷移時，蘋果能夠保證覆蓋到更多的機型和用戶，我估計端測模型往前覆蓋 2 代用戶應該不成問題。
再就是需求洞察上的積累，大語言模型的產品落地之路走得也並不順暢。大眾預期和產品的真實能力存在巨大落差，它最大和最成功的用途很可能是被營銷號和機器人水軍用來在網際網路上製造內容垃圾，甚至相當比例的真實用戶需求也是一樣。大家拿它來寫都是工作報告、文獻摘要、公開致辭...
套話還是那些套話，只不過現在不用現編了。
去年 5 月份，谷歌內部泄露出來一篇文檔，你光看標題都能感覺到那種絕望和焦慮：《我們沒有護城河，OpenAI 也沒有》。本質上，大家還是在找場景，找痛點，而這件事蘋果已經做了很多年了。前面提到的很多例子都證明，AI 早就融入進了系統體驗的方方面面。所以蘋果會怎麼用大模型來加強他既有的功能和體驗，並且拿出新的需求洞察和解決方案，絕對是今年 WWDC 最大的看點之一。
▍WWDC 24 AI 預測
那正好我們發這期影片的時候 WWDC 也快開了。最後我們就結合現在蘋果已經公開發表的模型、論文和媒體的公開報道來預測一下 WWDC24，蘋果在 AI 方面會有哪些動作。
大的方向我認為是不會變的。蘋果過去在機器學習方面的實踐和最近相關的爆料仍然都指向一個小型化的、能運行在用戶設備端的幫助用戶解決實際問題的模型。
首當其衝的就是 Siri。這塊如果不出意外的話他肯定是往死了抄 ChatGPT，因為樣板實在是做得太好了，聽蘋果抄別人好像是個挺新鮮的事兒哈。首先他能記住你之前跟他說過所有的內容，問他問題時應該也不僅僅局限於語音或者文字這一種了，並且回答也是經過檢索和總結的，而不是直接甩給你一堆搜索結果。
但是蘋果做這件事的優勢在於，Siri 他能獲得的資訊維度比 ChatGPT 要大很多，他更容易知道你跟設備當前的狀態，你拍過什麼照片，你常用哪些 App，以及你有哪些事情要做，這樣他就可以給出一些更有語境更有上下文的回答。
甚至是不是能夠根據場景，他可以主動的發起對話，我覺得如果做到這個體驗，那確實可以 Wow 一下了。不過這裡面的難點是，雖然 Siri 現在作為一個智能助理他是不及格的，但是定個鬧鐘、問個天氣，這些他都是沒有問題的。
我就有點擔心接入大模型之後，他反而會給你搞出點花活，我們已經看過不少大模型一本正經編瞎話的例子了，如何能讓他的回答更有創造力，更有理解力，同時執行簡單任務的時候保持穩定和準確，這是一件蘋果必須要解決的問題。
跟他對話只是交互的手段，重要的是那個執行結果。
其次是對於界面當中內容的理解能力，那去年年底蘋果悄悄開源了一個叫「Ferret」也就是雪貂的多模態大語言模型，重點是今年 4 月，他們推出了一個變種 Ferret-UI。這個模型能夠理解手機 UI 的界面元素，並且在這篇論文的實例當中，允許用戶通過自然語言去操作 App。
同樣是 4 月份，他們的另一個大模型 ReALM 則是專門針對自然語言的模糊性做了改進。你跟它說，打這個電話，摁底下那個按鈕，它也都能聽懂，你指的到底是螢幕上的哪個元素。
這個東西再往前想一步，就是 Rabbit R1 發布會上他們想要做的自動化程序，幫用戶點擊頁面，填寫資訊，最終達成一句話就可以幫用戶叫車、訂機票酒店的體驗。而且這兩個模型都不大，雪貂能找到 70 億和 130 億的版本，ReALM 更小，最小的版本只有 8000 萬參數。明顯是奔著在 iPhone 上，甚至是 Apple Watch 和耳機上跑的。
畢竟手錶和耳機，也只有旗艦晶片，去年的旗艦晶片，還有...
不管最後這個能力包裝進 Siri 還是什麼，總之蘋果是最有機會打通整套體驗的，畢竟前面統一 UI 框架的底子已經打了很多年了，還能順帶大幅度改善無障礙的體驗，以後就不是貓踩你手機幫你鎖了 SU7 的訂單了，還有可能是 Siri 乾的。
再來，讓真正需要 AI 的場景生效，肯定是蘋果的做事方式，蘋果估計還是不會整什麼大活，而是把 AI 貫徹在一系列的功能細節中。比如文生圖或者圖生圖這種場景，肯定是要結合在 Keynote 生成背景或者個性化生成壁紙這種場景才更有想像力的。再比如內容總結或者摘要，也應該放在 iMessage 或者其他聊天軟體中才更合理，直接通過上下文幫你新建日程安排，Siri 在幫你檢索一下機票酒店的價格，做個推薦，感覺一下就閉環了。
最後就是面向開發者這一側，蘋果應該會把大模型的能力打包成 API，直接開放給開發者。提升舊能力，提供新玩法，甚至把三方 App 的能力直接整合進 Siri 建議。這方面我會在 WWDC 之後好好看一下後續的開發者課程，如果發現了什麼有意思的東西在做成影片分享給大家。
▍總結
當然啊，我們講到的可能是最好的情況，即使是蘋果估計也很難一口吃成胖子，即便這些體驗，下一代系統沒有辦法全部達成。你從它的研究方向上也能看出來，未來讓用戶可以通過自然語言簡單無縫地指揮 Siri 去操作手機，肯定是蘋果在大模型領域的終極目標之一。甚至在他的曾經的產品定義中，蘋果汽車都是這麼操作的。
但是如果真這樣發展下去，蘋果也即將要面對一個終極困境，就是 AI 越強，用戶對 App 的需求越弱。AI 殺死蘋果生態中最重要的一環——App Store，從邏輯上來說是必然會發生的，只是時間長短的問題。
現在的 App 開發者可能慢慢都會變成服務的提供者，由 AI 來調用他們的能力。而因為 App Store 誕生，各個 App 之間建立起的阻隔之牆，是非常有希望被 AI 直接捅破的。原本網際網路時代一個網址就可以跳轉和分享的體驗，是不是能夠重新變成日常，這個我們可以把時間拉長到五年或者十年拭目以待。
不過呢，App 可能會消失，但手機仍然是承載 AI 最好的載體，自然語言交互不可能適用於所有場景，內容消費也需要一塊高質素的螢幕，與此同時手機擁有的算力、機器視覺以及能夠滿足需求的續航體驗，是其他設備短時間沒有辦法給你的。
可以說 AI 不會消滅手機，
但沒有 AI 的手機，註定消亡。
