在本地跑過大模型的同學，應該都了解Ollama，這個工具是用來在自己的電腦上運行開源模型的。最近出現了一個款新工具，Magnitude，官網稱它跑開源模型比Ollama快2倍以上。這個數字落到日常使用里能兌現多少，值不值得換，接下來我們一起來拆開看看：速度到底快在哪一段，你的模型和機器能不能享受到，換過去又要付出什麼代價。
Magnitude是一款免費的開源推理引擎，採用Apache-2.0許可。據評測網站explainx.ai的報道，官網稱11個常見本地模型在4比特量化、64K上下文、開啟投機解碼的條件下，平均成績比Ollama快2倍以上：讀提示詞的預填充（prefill）在Mac上快1.32倍，寫答案的解碼（decode）快2.19倍。
1. 「寫答案快2.2倍」，讀提示詞快1.3倍
2.2倍和1.3倍，是Magnitude自家基準測試里的兩個平均數：寫答案約快2.2倍，讀提示詞約快1.3倍。放進一次完整請求，這兩個數字會被讀提示詞拖下來。
智能體每次請求，都要先讀完系統提示詞、代碼庫文件和工具輸出。在全新的64,000 token提示詞下，讀提示詞占去Ollama總耗時的84%到98%，完整答案只快約1.3倍。阿里的千問（Qwen）3.6 35B在M4 Pro Mac上是107秒對134秒；谷歌（Google）的Gemma 4 26B在Mac上是2分11秒對2分06秒，只省5秒。各模型的差距也大：在英偉達（NVIDIA）推出的桌面級AI電腦DGX Spark上，約40億參數的千問小模型寫答案快近5倍，英偉達自家的Nemotron 3.5反而慢24%。Magnitude自己也指出有三種情形比Ollama慢。
寫答案的領先有相當一部分來自投機解碼（speculative decoding）：體量小的草稿模型先猜出接下來的幾個詞，主模型再一次性驗證整批。關閉投機解碼時，發布時的測試是千問3.6 35B比llama.cpp在Spark上快19%，在Mac上快92%。草稿模型幫多大的忙，取決於文本好不好預測：據Dflash 2草稿模型的模型卡，它搭配千問3.8 27B，在英偉達H200顯示卡上，數學題約提速3.4倍，聊天約2.7倍。Magnitude的測試負載是讀《白鯨》（Moby Dick）的章節，再原樣複述最新一段，接近最好預測的文本，既沒有計時真實的智能體任務，也沒有給回答質量評分。測試用的Ollama是0.35.1版本，之後已發了好幾個版本，包括對投機解碼的修復。
所以提速真實存在，但主要體現在長回復和上下文已緩存的後續輪次，冷啟動時灌進整個代碼庫，感覺不到。
2. 清單上只有19個模型，不能導入自己的GGUF
快不快，需要先看模型在不在清單上。千問3.6 35B、千問3.8 27B、Gemma 4 31B這類常見主力模型有幾種固定尺寸可選。整份清單只有19個模型，來自千問、谷歌、英偉達、Meta、Liquid和OpenBMB六家，沒有DeepSeek、GPT-OSS、GLM、Llama和Mistral。
Magnitude的產品簡介寫明，清單就是引擎支持的全部模型，所以不能帶自己微調過的模型，也不能導入從模型託管平台Hugging Face下載的任意GGUF格式權重文件。Ollama的模型庫有200多個模型，還支持導入單個GGUF或SafeTensors權重。窄清單是有意為之，Magnitude的速度來自為熱門架構手寫調校的核心。它還要求自己管理下載，Ollama或LM Studio里已有的權重不能沿用，有用戶為此把40GB的文件重新下了一遍。
3. 只認M1到M4和RTX 30系列以上，模型必須整個裝進顯示記憶體
Magnitude 0.2.7版本點名調校了M1到M4晶片，官方測試覆蓋M4 Pro和DGX Spark，CUDA版本面向Ampere及更新的顯示卡，也就是RTX 30系列以上。Intel Mac只能用CPU。RTX 20和GTX 10系列不在支持範圍，Ollama則能支持到GTX 900時代。AMD只通過Vulkan運行，沒有ROCm後端，也沒有公布AMD測試數字。創始團隊在發布討論串里確認，它暫不支持多GPU，兩張顯示卡不會同時用上。
記憶體的差異最大。Ollama遇到模型比顯示記憶體略大，會把其餘部分溢出到系統記憶體，變慢但能跑。Magnitude要求模型整個裝進GPU顯示記憶體，從記憶體或硬碟流式加載還停留在路線圖上，文檔也說明64GB系統記憶體加一張8GB顯示卡不等於72GB顯示記憶體。一張16GB顯示卡靠Ollama溢出跑20GB的模型，Magnitude會直接拒絕加載。
4. 外部實測里，llama.cpp有時反而更快
最早一批外部測試用的是0.2.1版本，出現了反例。一位用戶在M5 Max上用千問3.8對比llama.cpp，後者讀提示詞和寫答案的速度都約為Magnitude的兩倍。另一位在M5 Pro上跑Gemma 4 26B，Magnitude寫答案比另一款推理工具OMLX略快，讀提示詞卻慢約2.6倍，創始團隊承認核心還沒用上M5晶片的新矩陣運算指令。RTX 5070 Ti上跑Gemma 4 12B，llama.cpp的生成速度快20%到30%。
匯總下來，提速只在M1到M4的Mac、單張RTX 30系列以上顯示卡和DGX Spark上成立，而且模型要整個裝進顯示記憶體。
5. 裝起來快，退回也容易，代價是雲端模型和成熟度
切換的代價是失去Ollama的雲端模型，並押注一個還在修基礎問題的0.2版本引擎。流程是安裝應用，Discover頁面推薦裝得下的模型並給出速度估計，下載後調校最多一分鐘，再點連接，Magnitude會為OpenCode、Claude Code這類編程智能體寫好配置。速度估計只是粗略數字，沒算草稿模型的提速，有M5 Max用戶發現它只有實際速度的一半。Ollama也有一條命令完成對接的ollama launch，自動配置算不上換工具的理由。
連接Claude Code後，請求會走Magnitude的本地網關，即使用的是雲端Claude模型，也得讓它在後台運行，直到斷開連接並重啟。0.2.9版本起，Claude Code可以完全不登錄Claude帳號，由Magnitude在本地回答所有請求。Mac或Linux機器用一條server setup命令，可以變成通過網路訪問的推理服務，Windows沒有伺服器模式。
Magnitude在2026年9月30日才發布，10月11日的版本還在修兩個問題：Windows上一次性的硬體調校從未運行，Mac上長時間的智能體會話會耗盡GPU記憶體，把模型中途卸載。好在它用自己的埠，可以和Ollama並存。
6. 只換主力模型，其餘留給Ollama
影片的結論帶兩個前提：想跑的模型在那19個之內；機器是M1到M4的Mac、RTX 30系列以上顯示卡或DGX Spark，且權重整個裝得進GPU顯示記憶體。兩條都滿足，才值得把智能體的主力模型換過去，提速主要體現在長回復和已緩存的後續輪次。
其餘情形都留在Ollama：清單外的模型、老款英偉達顯示卡、雙GPU、比顯示記憶體大的模型，以及目前的M5 Max。影片作者把Magnitude定位成只服務少數模型和機器的速度引擎，不是Ollama這把瑞士軍刀的替代品。他的做法是：把Magnitude裝在Ollama旁邊，讓智能體在兩邊指向同一個模型，用一個真實的編程任務各跑一遍並計時，再做決定。
