進入 Apple silicon 時代以來，Mac 在性能方面的突飛猛進是大家有目共睹的，尤其是有了統一內存架構以後，CPU、GPU 以及 NPU 能夠共享具備高帶寬、低延遲的統一內存，讓消費級的 Mac 電腦在運行本地 AI 模型時也能充分發揮硬體性能，參與到我們的日常生活與工作當中。
雖然雲端模型的發展日新月異，但是本地模型依然有著不可替代的獨特優勢：對於普通用戶而言，本地模型可以隨時隨地待命，不受網路質量制約，也能不被網路需求束縛，讓更多人用上最新最先進的國內外大語言模型；對於企業用戶來說，本地模型不僅有著能保護隱私安全的離線運行特性，還可以通過更靈活的自定義能力，定製自己專屬的模型。
近日，我們就獲得機會與 Exo Labs 的兩位創始人有了一次簡短的交流，聽他們講述了自己使用 Mac 進行本地 AI 模型應用的探索經歷，還見到了他們即將發布的最新版本 exo 的功能演示。
Exo Labs 由多位來自牛津大學的工程師及研究人員共同創立於 2024 年，旨在普及人工智慧技術，希望讓更多人在任何地方都能更簡單地運行和使用大語言模型。聯合創始人 Alex 告訴我們，即使是在牛津大學這樣的全球頂級學府，資源的分配和獲取也是相當困難且緩慢的。如果想要向校方申請 GPU 集群進行本地模型研究，相關人員一次僅能申請一張顯卡，整個申請過程可能需要長達數月之久。
正因如此，Alex 和夥伴們開始了自己最初的嘗試，通過串聯兩台搭載 M3 Max 晶片的 MacBook Pro 組成集群，成功運行了參數量高達 4050 億 (405B) 的 Llama 模型。雖然你應該能夠想到結果，不論是在速度還是穩定性上，僅靠兩台 MacBook Pro 運行如此複雜的模型都已經顯得捉襟見肘。
不過，這次的嘗試也讓他們意識到了，這樣的想法是完全可行的。隨著 Apple silicon 架構的疊代，Exo Labs 團隊也在不斷優化 exo 的算法和框架，並在如今做好了新版的發布準備。
據介紹，如今 exo 不僅支持了多種主流的大語言模型——如 Llama、Mistral、Qwen 以及 DeepSeek 等等，並且支持動態模型拆分，在組成集群的多台設備中，exo 會根據每台設備的內存和帶寬使用狀況，自動將模型切分為多個部分，分配不同節點並切執行，從而讓性能需求遠超單台設備的本地模型能夠順利運行並實現快速響應。
在現場演示中，Alex 通過四台搭載 M3 Ultra 晶片的頂配 Mac Studio 組成集群 (128 核 CPU、240 核 GPU、2TB 內存、~3.28TB/s 帶寬)，設備之間通過雷靂 5 線纜實現高速連接，向我們演示了 exo 的運行過程。
在這個集群中，exo 同時運行了 8-bit 量化版本的 DeepSeek-V3-0324 和 DeepSeek-R1-0528 兩個本地模型，兩個模型的總參數量高達約 1.36 萬億，所需內存接近 1.5TB。在如此高負載的工作場景之下，exo 不僅做到了同時並快速地向用戶返回輸出結果，還通過直觀的可視化形式向我們展示了 exo 的動態分配能力，一覽便能看清每台設備的內存使用情況、工作溫度、耗電水平等等。
別看這四台 Mac 的售價已經高達 40 多萬元，要知道過去如果想通過傳統硬體方案達到如此強大的性能表現，不僅需要採購售價高達百萬級的硬體設施，相關設施對於空間如大小、散熱等的複雜要求也是一個不小的考驗。
Alex 還表示，exo 框架在開源之後獲得了社區的熱烈響應，並已有多家企業選擇了 exo 在內部構建本地 AI 推理集群。值得一提的是，在 Global Energy Alliance for People and Planet 項目中，Exo Labs 僅僅通過幾台老舊的智慧型手機與一台電腦設備連接，在非洲的一個偏遠村莊中為當地運行本地大模型提供了支持，助力當地教育以及遠程醫療服務。
最後，針對普通用戶如何用好手中設備、善用 AI 能力，Alex 也給出了自己的看法。
雖然對於絕大部分用戶而言，他們並沒有採購價格如此高昂設備的能力以及需求，但依然不妨礙人人都能從本地模型中獲益。
目前在 Mac 上，已經有如 Ollama、LM Studio、Open WebUI 等一眾出色且易用的本地 LLM 部署和運行工具，讓每個人都能輕鬆上手來自全球頂級科技公司的本地 AI 模型。這不僅能夠讓人人切實感受到技術的進步與發展，也能降低用戶的試錯成本，找到更加適合自己的 AI 模型。也得益於有像 Mac 這樣愈發完善與強大的軟硬體生態，AI 模型的使用門檻能夠變得更低，運行速度能夠變得越來越快。
