深夜11點，瀏覽器里開著三個標籤頁：一張Claude賬單，一張GPT-4賬單，還有一張信用卡對賬單。Kai盯著螢幕，突然意識到自己這個月花在AI token上的錢，比買菜還多。那一刻，他決定不再為每一個token付費，不再看著用量表在每次讓AI重構一個函數時往上跳。他要跑自己的本地大模型。
如果這個場景看起來眼熟，說明這篇文章現在對你有用。本文整理自YouTube頻道一位叫Kai的博主，在前幾天剛發布的影片。影片主題是2026年如何為本地部署大模型選購硬體，覆蓋Mac Studio M4 Max、NVIDIA RTX 5090、AMD Strix Halo與雲端GPU租賃四條路徑。
把時間撥回到本地大模型這件事本身，會發現這個決定的時機比想像中更准。就在Kai錄這期影片前，Qwen團隊於2026年開源了Qwen3-Coder-Next，一款基於Qwen3-Next-80B-A3B架構、總參數80B但每次僅激活3B的混合專家模型
，官方數據顯示它在SWE-Bench-Pro上的表現能追平參數量大它十到二十倍的模型。而就在影片發布前四天，Qwen團隊又推出了總參數2.4萬億的Qwen3.8-2.4T-A95B。開源模型的更新節奏之快，恰好印證了影片裡的核心判斷：本地部署這件事，在2026年第一次真正具備了可行性。
AI編程工具的使用成本正在變成不少開發者每月賬單上一筆不小的支出，"要不要自己買硬體"因此從極客話題變成了現實選擇題。而Kai接下來要講的，是他為了搞清楚這個問題，親自踩過的每一個坑。
一台筆記本，裝下曾經需要四張H100的模型
一年前，這期影片大概率不會被製作出來。如果想要一個真正能幹活的本地模型，好到可以重構一個真實代碼庫、寫測試、調試集成故障，那意味著你需要四張H100——數據中心級別的硬體，自帶電費賬單，不是隨便塞在桌子底下的東西。
轉折發生在2026年，兩件事同時改變了局面。 第一是Qwen3-Coder-Next，800億參數的混合專家模型，在Q4量化下體積壓縮到46GB，影片裡給出的判斷是，這個模型在編程基準測試上的速度和準確度能匹配Claude Sonnet，而且第一次可以在自己擁有的機器上運行。第二是Qwen3.6 27B，一個270億參數的稠密模型，在真實編程任務上的得分反而超過了體積更大的混合專家模型，體積壓到16GB，在M5晶片上跑出超過25 tokens/秒的速度。
但影片也沒有迴避一個現實：本地推理在複雜的多步推理任務上並不能擊敗前沿模型，本地模型在SWE-Bench上大約落後Sonnet 4.6兩分。買本地硬體的目的從來不是贏下每一場戰鬥，而是把日常工作里80%的部分——自動補全、重構、樣板代碼、代碼審查——從賬單里摘出去。
同一張卡，同一個模型，速度差了六到七倍
大多數教學會告訴你先裝vLLM。它是生產級的服務框架，有一個體面的儀錶盤，看起來專業又正經。Kai照著教學做了，把一個20GB的模型塞進24GB顯存的顯卡里開始跑分，結果是19 tokens/秒。他以為是配置沒調好，於是花了幾周時間試不同的量化方案，半夜刷GitHub issue，像個執著的調參俠。
直到某一天，他隨手用llama.cpp跑了同一個模型、同一張卡。結果是120 tokens/秒。他盯著終端看了整整30秒。
這背後的技術原因值得說清楚，因為它決定了你該選哪套推理框架。vLLM是為數據中心設計的，為了同時處理大量並發請求，它依賴CUDA graphs——預先編譯好的執行路徑，省掉CPU和GPU之間來回溝通的開銷。但CUDA graphs的編譯需要一整塊連續的顯存。當一個20多GB的模型被塞進24GB的卡，再加上負責記住對話上下文的KV緩存，剩下的空間幾乎不夠用。CUDA graphs悄悄編譯失敗，系統退回到逐條指令由CPU單獨調度的低效模式。
修復這個問題的不是某個配置參數，而是意識到自己在這一檔硬體上用錯了工具。 規則很簡單：一張或兩張消費級顯卡，用llama.cpp；vLLM的優勢只有在48GB以上的工作站顯卡或顯存充裕的雲實例上才會真正打開。這個道理，Kai本可以一個下午就弄明白，結果花了幾周。
一台安靜的機器，也能裝下Qwen3的主力模型
Mac Studio M4 Max，128GB版本，價格在4000到5000美元之間。Kai坦言自己曾經是"獨顯或什麼都不要"的信徒，覺得用Mac跑嚴肅的AI推理，就像開一台很貴的豐田凱美瑞去跑一級方程式——好看，昂貴，但不對味。他現在承認自己錯了。
關鍵在於蘋果的統一內存架構：CPU和GPU不是隔著PCIe總線互相搶資源的兩個獨立部件，而是共享同一塊128GB物理內存。M4 Max的內存頻寬達到每秒546GB，這個數字才是真正的勝負手——生成文本本質上是一個內存頻寬問題，每生成一個token都要從內存里重新拉取一遍模型權重，頻寬越快，輸出越快，而546GB/秒目前是消費級市場裡最高的。
實測下來，M4 Max跑700億參數的稠密模型，Q4量化下能達到每秒15到28個token；128GB內存池裝下Qwen3-Coder-Next之後還留有餘量，夠開256K的上下文窗口。Kai還注意到，蘋果自家的MLX框架在長上下文推理上已經成熟到能和llama.cpp掰手腕，有時甚至更快。
還有一件任何跑分表都不會寫出來的事：插上電，運行，它就是能用。 不用折騰Linux驅動，不用重新編譯帶CUDA支持的llama.cpp，風扇也不會響得像準備起飛的噴氣機。至於上限，市面上關於M4 Ultra的說法眾說紛紜、彼此矛盾，Kai的建議是不要為一顆傳聞中的晶片做預算規劃——128GB的M4 Max是目前唯一經過驗證的天花板，適合預算充足、想要一台安靜省心機器的獨立開發者。如果你看到Linux報錯就會冒冷汗，這就是你的硬體。
四張顯卡的誘惑，和它帶來的負收益
RTX 5090，32GB顯存，價格約2000美元，紙面上是單卡的最優解。從4090的24GB跳到5090的32GB，多出來的顯存足夠在裝下Qwen3-Coder-Next的Q4版本之餘，還給CUDA graphs和KV緩存留出空間。理論上，5090是單人開發者每美元token數最高的選擇。
但Kai提醒得很直接：截至他錄製影片時，5090在Qwen3-Coder-Next 32K到64K上下文下的驗證跑分幾乎不存在。 規格表說它應該能行，網上流傳的數字還沒扛住嚴格驗證，買之前最好自己實測，別信論壇熱度。
真正的陷阱藏在四卡方案里。Kai曾經在紙面上算過賬：四張3090，把模型拆分到每張卡上，攢一台屬於自己的小型集群，聽起來很酷，很極客。但實際情況是：一張卡，每秒70到72個token；兩張卡，90到96；四張卡，88到97。從兩張卡加到四張卡，幾乎沒有任何提升，有時候反而更慢。 原因是模型被拆分到多張消費級顯卡上運行時，卡與卡之間通過PCIe總線同步數據所花的時間，比實際計算的時間還多。數據中心用NVLink這條專用高速橋解決了這個問題，而普通主機板上沒有這條橋。兩張二手3090的價格在1400到1800美元之間，四張要三千多美元——多花的1200美元買到的是負收益。Kai沒有親自踩這個坑，但他聽一個踩過坑的人講述時，能聽出對方聲音里的沮喪。如果還是想做多卡方案，把消費級多卡集群的上限定在兩張卡，除非你確實需要40萬token以上的上下文長度，並把KV緩存分布到多張卡上。
參數表上很漂亮，實測里更微妙
AMD Strix Halo，可以在Framework桌面機等產品里買到，價格1099到1999美元，128GB內存只要1500美元左右，對比蘋果四千美元以上的定價，紙面上AMD贏了。
問題出在內存頻寬。 M4 Max是每秒546GB，Strix Halo是256GB。如果拿它跑700億參數的稠密模型，頻寬瓶頸會把速度壓到每秒5個token左右——手動重構代碼可能都比等它跑完更快。但換成混合專家模型，比如1220億參數的MoE，Q4量化下能跑到接近每秒30個token。原因是混合專家模型每次只激活一小部分參數，內存控制器只需要讀取那一小部分，頻寬瓶頸被大幅緩解。如果打算買它，就把自己的用途限定在混合專家架構上，它會在這個價位段表現出色；拿它跑稠密模型，省下的每一分錢都會變成後悔。
不買硬體，也是一種硬體決策
Vast AI上租一張H100，現在大約每小時1.49美元；RunPod約1.99美元；Lambda Labs約2.99美元。這不是紙上談兵，價格的地板確實降下來了。
Kai給自己算過一筆賬：按每小時3美元、每月持續開機720小時計算，成本是每月2160美元，這是盈虧平衡線。如果你現在的API月度支出持續高於這個數字，買硬體通常能在三到十二個月內回本；低於這條線，租更划算。
沒有人會在廣告裡告訴你雲端GPU的冷啟動延遲。Vast AI或RunPod上的社區檔位實例，從下單到拉取模型權重再到啟動完成，可能需要30秒到3分鐘。這意味著你要麼讓實例一直保持熱啟動狀態——這會把按需付費省下來的錢全部吃掉；要麼為頂級供應商的常駐無伺服器端點付費。沒有免費的午餐。 但如果你的工作負載確實不規律，或者還沒準備好投入硬體成本，租用仍然是完全理性的選擇，只是租之前把賬算明白。
按預算，這是Kai給出的答案
預算五千美元以內的獨立開發者：如果想要一台安靜、開箱即用、以後再也不用操心GPU驅動的機器，選Mac Studio M4 Max 128GB；如果想要單位美元下最多的token數，並且不介意管理一台Linux伺服器，選一套三千五百美元左右的RTX 5090方案。兩條路徑都能舒服地跑起Qwen3-Coder-Next Q4和Qwen3.6 27B——目前最好的兩個本地編程模型。
預算一萬五千美元以內的三到五人團隊：搭一台共享推理伺服器，兩張二手RTX 3090，含機殼和儲存總價三千到四千美元，用llama.cpp給每張卡單獨跑一個server實例。不要用vLLM，不要買四張卡，除非要解決40萬token以上的上下文問題，否則跳過NVLink那個幻想。
如果當前API月支出低於兩千美元，或者工作負載本身就很不規律，租用雲端GPU仍是更合理的選擇：Vast AI價格地板最低，RunPod穩定性更好，如果冷啟動延遲會打斷你的工作流，就付費給一線供應商。
本地能給你四樣東西，但給不了第五樣
本地部署能帶來的，是長上下文下不設上限的token用量，是自有代碼不出門的真實隱私，是離線可用，是可以基於自己代碼庫微調的自由度。它給不了的是前沿模型在複雜多步推理任務上的質量。
Qwen3-Coder-Next在SWE-Bench上拿到70.6分，Qwen3.6 27B拿到77.2分，這兩個數字確實令人印象深刻，但在複雜長推理鏈條上，它們仍然落後Sonnet 4.6，也明顯落後Opus。如果讓一個本地模型從零架構一個微服務，寫測試、調試集成故障，全程不需要你插手，它大概率會陷入循環、產生幻覺，或者比頭部商業API更快地跑偏。
誠實的框架是：本地是雲端API的補充，不是替代品。 把日常工作里80%的部分交給本地模型，剩下複雜的20%交給Opus，你依然能省下大量開支，也依然掌握著自己數據的控制權。
