你有沒有想過，為什麼現在的AI助手在處理長文檔、長對話時會變得又慢又貴？
答案藏在一個不太起眼的地方：KV緩存
**KV緩存**：全稱Key-Value Cache，是大模型在生成文字時用來記住前面所有內容的一種儲存機制，你可以理解為AI的"臨時記憶本"。
問題是，這個記憶本會越寫越厚。你和AI聊得越久，餵給它的文檔越長，這個緩存占用的儲存空間就越大。而且這些數據必須放在昂貴的高速內存（HBM）里，一旦超出容量，要麼處理變慢，要麼直接報錯。
這就是為什麼DeepSeek這次發布的新模型，標題里直接把"KV Cache Compression"（KV緩存壓縮）放在了最顯眼的位置。這篇論文講的不是一個模型多聰明，而是一群工程師如何把AI的"記憶負擔"死死摁下去，同時還不讓它變笨。
長文本時代的隱藏賬單
先說說這件事有多要命。
現在的AI智能體（能自己調用工具、執行多步任務的AI程序）動不動就要處理幾十萬甚至上百萬token的上下文。你讓它讀一份代碼倉庫、分析一堆財報、執行一套自動化流程,這些操作產生的輸入量是海量的。
**智能體**：能夠自主使用工具、進行多輪交互、執行複雜任務的AI程序，比如幫你寫代碼、訂機票、整理文件的AI助手。
以前大家關注的是"算得快不快",但DeepSeek在這篇論文裡點出一個更隱蔽的瓶頸：存得下、傳得動。
具體來說，DeepSeek-V4這一代模型用了一種全局注意力加局部滑動窗口注意力的組合設計。全局部分負責記住整個對話歷史，局部部分只盯著最近的一小段。滑動窗口的儲存量是固定的，不會隨著對話變長而爆炸，但全局部分的KV緩存會隨著上下文線性增長。
**滑動窗口注意力（SWA）**：一種只關注最近若干個詞、不看更早內容的注意力機制，類似人只記得最近說的幾句話。
當上下文長到一定程度，全局KV緩存就成了內存里的巨無霸，而且這些數據還得存到SSD硬碟或者主機內存里做長期保留，方便下次對話復用（這叫持久化KV緩存）。儲存成本、傳輸頻寬,全都被這個巨無霸拖累。
DeepSeek給出的數據很紮實：從2023年的DeepSeek-V1到現在的V4.1-Flash，每個token占用的全局KV緩存從389,120字節壓縮到了890字節,縮小了437倍。僅僅是相比上一代V4-Flash，這次也砍掉了四分之三，做到了890字節每token。
這不是簡單的參數削減，而是三條戰線同時發力：架構設計、緩存精度、部署策略。接下來我們一條條拆開看。
編碼器和解碼器分家：省下一半的預填充計算
先說第一個大招,**因果編碼器-解碼器架構**（Causal Encoder-Decoder，簡稱CED）。
要理解這個設計,得先明白一個AI推理過程中的兩階段劃分:預填充（prefill）和解碼（decode）。
**預填充**：模型讀取你輸入的全部內容（比如一段很長的文檔），並為後續生成做準備的階段，這個階段計算量往往很大。
**解碼**：模型逐字生成回復的階段，每次只多算一個新詞。
在智能體場景里，頻繁的工具調用意味著大量的預填充請求,每次工具返回結果都要重新塞給模型處理一遍。如果每次預填充都要跑完整個模型的所有層，這個開銷會非常嚇人。
DeepSeek的做法是,把整個40層的Transformer模型從中間切開,前20層當"編碼器"，後20層當"解碼器"。解碼器不再自己算KV，而是直接從編碼器的最後一層隱藏狀態里投影出來。
這意味著什麼？
意味著預填充階段，模型只需要真正跑完前一半的層，後一半層的KV可以直接"借用"前面算出來的結果，用幾個簡單的矩陣乘法投影一下就好。計算複雜度從原來的O(NL)降到O(NL/2)，直接砍掉將近一半。
這裡有個繞不開的問題:滑動窗口注意力這部分怎麼辦？因為SWA是每一層都要根據自己的輸入重新計算局部KV的，不能像全局KV那樣直接共享。如果嚴格按照理論上的做法，要計算解碼器的SWA KV，得往前多處理L/2乘以窗口大小那麼多的token，這個開銷在多輪短對話場景下並不小。
DeepSeek的應對方案叫**SWA有界回放**（SWA Bounded Replay），只回放最近的窗口大小那麼多個token，而不是理論上要求的全部歷史。論文裡測下來這種近似幾乎不影響效果。
打個比方。假設你是一個新來的翻譯，別人交給你一份已經處理過一半的會議記錄，讓你接著往下譯。嚴格來說，你應該把前面所有對話的語氣和上下文都通讀一遍才能準確銜接，但那樣太慢了。於是你選擇一個折中方案：只快速瀏覽最近幾分鐘的對話內容，就能大致抓住話題走向,繼續往下翻譯。如果你非要通讀全部歷史，翻譯速度會被拖得很慢；但完全不看歷史，翻譯又會驢唇不對馬嘴。有界回放選擇的是"看最近一段就夠用"這個中間地帶，用可控的計算量換取幾乎不掉線的準確性。
這個設計帶來的實際效果是,把上下文長度從4K擴展到1M（256倍），單token解碼所需的計算量（FLOPs）只增加了四分之一。同期的DeepSeek-V4-Flash在同樣的擴展倍數下計算量增長要大得多。這意味著無論你的對話多長，模型處理每個新詞的負擔幾乎不會隨之顯著上升。
層與層之間"拼車"：壓縮序列維度的第三條路
接下來這部分是整篇論文裡最技術密集的部分，**壓縮稀疏注意力2（CSA2）**。
要理解CSA2，得先明白KV緩存壓縮這件事可以從三個維度下手。
第一個維度是條目大小,也就是每個緩存條目本身占多少字節，之前的GQA（分組查詢注意力）和MLA（多頭潛在注意力）都是從這個角度優化，減少每個頭需要單獨儲存的數據量。
第二個維度是序列維度，把連續的多個token壓縮成一個代表性條目，DeepSeek-V4里的CSA和HCA就是這麼幹的。
第三個維度是層維度,讓某些層直接復用別的層已經算好的KV和索引，而不是每層都從零計算一遍。
DeepSeek這次的判斷是,前兩個維度已經被前人和自己摸索得差不多了，第三個維度還有很大的挖掘空間。業界已經有一些嘗試，比如IndexCache只復用索引選擇結果來省索引器的計算，YOIO乾脆讓所有層共享同一套稀疏路由，HySparse讓稀疏層直接借用密集層的KV。但這些方法要麼只省了一部分成本，要麼犧牲了性能，要麼根本沒把三個維度都用上。
CSA2的思路是把層維度的復用做得更徹底、更靈活。它給每一層分配三種運行模式中的一種：全模式、重索引模式、復用模式。
**全模式（Full Mode）**：該層自己計算主KV和索引器K，自己跑一遍完整的索引流程，選出屬於自己的Top-K重要位置。
**重索引模式（Reindex Mode）**：借用前面某層已經算好的主KV和索引器K，但用自己的查詢重新給這些K評分，選出一套新的Top-K位置。
**復用模式（Reuse Mode）**：不僅借用主KV，連Top-K的選擇結果也直接照搬前面層算好的，自己不用再算索引了。
為什麼要分成三種模式而不是簡單的"共享或不共享"？
因為共享KV儲存和共享注意力選擇結果，這是兩件可以分開決策的事。如果一刀切讓所有復用層都完全照搬前面層的選擇，會損失一些針對性,畢竟不同層關注的重點未必完全一樣。重索引模式的存在，就是為了在"省下KV儲存"和"保留每層獨立判斷力"之間找一個平衡點：KV數據不用重複存了,但每層依然可以根據自己的需要挑選不同的重點位置。
這就好比一個團隊共享一份原始素材庫（省了拷貝素材的時間和硬碟），但每個人依然可以根據自己的任務需求，從庫里挑出對自己有用的那部分內容（不用被迫使用別人挑好的內容）。如果不允許每個人自己挑，團隊裡所有人做出來的東西風格會趨同，損失多樣性；如果每個人都各自單獨囤一份完整素材庫，儲存成本又會飆升。三種模式並存，正是照顧到了這種張力。
這套機制在編碼器和解碼器里的實際配置也值得說一說。編碼器18層被分成三組，每組第一層是全模式,剩下五層都是復用模式。解碼器20層則被分成五組，用了重索引模式來保留一定的靈活性。
除了跨層復用，CSA2還引入了**分層稀疏索引器**（Hierarchical Sparse Indexer），這是專門為解碼器設計的一個加速技巧。
問題是這樣的：就算你做了跨層復用，減少了索引器要跑的次數，但剩下沒被省掉的索引器依然要掃描整個上下文來評分選擇重要位置，這個掃描開銷隨上下文長度線性增長，長文本場景下依然是個大瓶頸。
分層索引器的解決辦法是,先讓解碼器里第一個全模式層認認真真掃一遍全部位置，選出一個比最終Top-K更大一些的候選池（比如選2048個塊，每塊8個位置，湊出16384個候選位置）。後面那些重索引模式的層就不用再掃全部上下文了，只需要在這個候選池裡面重新評分挑選。
這有點像圖書館找資料。你要寫一篇論文，圖書館員先幫你從幾十萬本書里粗篩出幾百本相關的書（這是最耗時的一步，圖書館員只做一次），然後你自己再從這幾百本書里精挑細選出真正要引用的十幾本。如果每次換個角度重新查閱資料都要從幾十萬本書里重新粗篩一遍，那效率會低得離譜；但有了共享候選池,後續的精選工作成本就固定住了，不會隨著藏書量增加而變得更慢。
把精度降到4比特，還能保住準確率
除了架構層面的巧思，DeepSeek還在數據精度上動了刀子, **FP4主KV緩存**。
FP4是一種四比特浮點數格式，簡單理解就是用更少的比特位來表示一個數字。之前DeepSeek-V4已經用FP4來存索引器的查詢和鍵，這次進一步把主KV緩存也壓縮到FP4。
這裡有個技術細節值得展開: 不是所有FP4格式都一樣。DeepSeek選用的是OCP標準里的MXFP4格式，儘管論文裡承認還有精度更高的替代格式，但為了儘可能兼容更多硬體平台，他們選擇了犧牲一點點精度換取普適性。
**量化感知訓練（QAT）**：在訓練階段就模擬量化後的精度損失，讓模型提前適應低精度環境，而不是訓練完之後才臨時壓縮，這樣能大幅減少精度損失帶來的性能下降。
具體到格式選擇,他們用的是E2M1加上每16個通道一個E4M3精度的縮放因子,這套組合參考了英偉達的NVFP4方案，但省掉了它的第二層全局縮放。為什麼敢省？因為他們仔細算過數值範圍: RMS歸一化之後KV潛在向量的L2範數最多約22.6，訓練中觀察到的最大幅度也就10左右，而FP4這套格式本身能撐到2688的量級，留了足夠的安全餘量。省掉這道額外的縮放計算，換來的是緩存結構更簡單，處理起來更快。
效果是相比DeepSeek-V4用的FP8主KV緩存，FP4幾乎把儲存空間砍半，無論是在高速內存里還是轉存到硬碟上都是如此。
部署側的省錢智慧：SWA有界回放的持久化版本
前面講的CED和CSA2主要解決的是HBM里那部分實時KV緩存的問題，但還有另一塊開銷:**持久化KV緩存**，也就是存在SSD硬碟或主機內存里，供以後的對話復用的那部分數據。
這部分在DeepSeek-V4的部署里，SWA KV要占掉將近一半的容量。為什麼？因為SWA雖然每次只需要保留窗口大小那麼多個token，但因為每一層都是獨立計算的，累加起來跨越L層依然是筆不小的開銷，而且這些數據的訪問模式很奇特: 它只在會話進行中的幾分鐘內被頻繁訪問，會話一結束或者話題一轉換,這些數據基本就廢了。
這就製造了一個錯配: 持久化緩存的設計初衷是長期保留（比如保證72小時內數據不丟），但SWA KV的實際壽命只有幾分鐘。用長期儲存的思路去管理一個短命的數據,是資源上的浪費。
DeepSeek在V4階段試過一個叫"零SWA緩存"的方案，乾脆不存，需要的時候完全重新計算。但完全重算的代價是要跑L乘以窗口大小那麼多個token的前向傳播，這個成本在生產環境裡被證明太高了。
於是V4.1改成了一個折中方案:SWA KV不再進持久化硬碟緩存，而是放進一個從每台機器10%主機內存里劃出來的分布式內存池，壽命很短（只有幾分鐘），但因為周轉快，能被迅速回收給新會話使用。全局KV依然保留在持久化緩存里，保證72小時的長壽命。
當真的發生SWA KV缺失的情況(全局KV命中但SWA KV沒了)，就用前面提到的有界回放機制來補救: 只重新計算最近窗口大小的token，而不是整條鏈路重跑一遍。
這個設計思路讓我想起了共享單車的調度策略。如果每輛車都要求原地停靠72小時以上才能被挪走（就像長期緩存那樣），停車位很快就會被占滿，新用戶根本借不到車。聰明的做法是給短途使用的車輛設一個快速周轉機制，用幾分鐘為單位調度，一旦有人用完立刻釋放給下一個人用。真正需要長期停放的資產（對應全局KV）另外單獨管理。分開處理不同生命周期的資源，才能讓整個系統跑得又快又省。
這一套組合拳下來，持久化KV緩存的容量被壓縮到了V4的八分之一。
模型到底有多大、跑起來多便宜
聊完了壓縮技術，我們看看這個模型本身的規模和實際表現。
DeepSeek-V4.1-Flash總共有552B（5520億）個骨幹參數，外加196B（1960億）個專門用於**Engram**記憶模組的參數。
**Engram**：一種條件記憶模組，通過多頭哈希和上下文感知門控，把"記憶"和"計算"解耦開，讓模型可以低成本地存取大量長尾知識，而不用每次都靠神經網路參數硬記。
這個模型採用**混合專家架構（MoE）**，不是每次推理都要用上全部參數,而是根據輸入內容動態激活其中一小部分專家網路。
**混合專家（MoE）**：一種神經網路架構，內部包含許多個"專家"子網路，每次處理輸入時只激活其中一小部分專家，從而在保持模型總容量很大的同時控制實際計算成本。
DeepSeek-V4.1-Flash每處理一個token，預填充階段只激活8B參數,解碼階段激活16B參數。這個"預填充比解碼更省"的不對稱設計,正是前面CED架構帶來的直接收益,畢竟預填充階段一半的層都被省掉了。
這套設計換來的直觀好處是,把這個數字放到實際場景里體會一下: 假設你讓AI處理一份十萬字的文檔，預填充階段處理這些輸入時，模型實際動用的計算資源只相當於一個80億參數模型的量級，而不是160億。對於那種輸入量遠大於輸出量的智能體工作(讀大量文檔、看大量代碼、調用大量工具)，這個不對稱設計直接省下了真金白銀的算力成本。
模型支持最長100萬token的上下文，原生支持多模態輸入（圖片加文字）。視覺部分用了一個從零訓練的**DeepSeek-ViT**視覺編碼器，配合3×3像素重排（pixel-unshuffle）技術把視覺token數量壓縮到九分之一，讓處理高解析度圖片的成本可控。
訓練數據45萬億token，效果反超上一代旗艦
預訓練階段，DeepSeek-V4.1-Flash吃下了45T（45萬億）token的多模態語料。這個規模級別的數據量,大概相當於把網際網路上大量文本、代碼、圖文對內容反覆篩選、去重、評分之後精選出來的結果。
有一個細節很能說明DeepSeek在數據質量把控上的用心: 他們主動過濾掉了"資訊增益有限的模型生成內容"，包括能力較弱模型的輸出，以及低質量機器翻譯文本。這些內容被視為一種"隱性重複"，因為它們本質上是在重新包裝已有資訊，長期訓練下去反而可能拖累模型。
這就像是一個學生準備考試，如果他複習資料里混雜了大量東拼西湊、以訛傳訛的筆記（哪怕字數很多），刷題效果反而不如精選一批高質量的原始教材。數據量不是越多越好，關鍵是這些數據里到底裝了多少真正新鮮、準確的資訊。
訓練效果上有一個特別扎眼的對比: DeepSeek-V4.1-Flash-Base（基礎模型階段）用了只有DeepSeek-V4-Pro-Base三分之一的總參數、四分之一的激活參數，卻做到了世界知識、推理和編程能力上的旗鼓相當，甚至在內部held-out測試集上還領先5%到10%。
論文裡專門放了一組"每字節比特數"（BPB，數值越低說明模型對這批文本的理解和壓縮能力越強）的測試結果,在內部文檔、代碼倉庫、學術材料這三類真實場景語料上,V4.1-Flash-Base全面優於V4-Flash-Base和V4-Pro-Base。這說明這次的效率提升不是靠簡單地"減配"換來的，底層數據質量和訓練方法上確實有實打實的進步。
後訓練不靠算法創新，靠數據管道的死磕
到了後訓練階段（也就是讓模型學會推理、學會當好一個智能體的階段），DeepSeek在論文裡說了一句很坦誠的話:這次沒有引入任何新的後訓練算法。
流程依然是標準的三段式:**監督微調（SFT）→強化學習（RL）→在線策略蒸餾（OPD）**。
**監督微調（SFT）**：用人工標註或高質量樣本直接教模型該怎麼回答的訓練方式。
**強化學習（RL）**：讓模型自己嘗試、根據結果好壞獲得獎勵或懲罰，從而調整行為的訓練方式。
**在線策略蒸餾（OPD）**：讓一個更強的教師模型實時生成的內容來指導學生模型學習，因為教師和學生都在"當前策略"下運作，所以叫在線策略。
他們把全部力氣都花在了"餵給模型什麼數據"這件事上,搭建了大規模自動化的任務合成和環境構建管道。這個判斷本身值得琢磨: 在固定住優化算法不變的前提下，數據規模、多樣性、可驗證性的系統性提升，幾乎能解釋全部的性能進步。這句話放在整個AI行業的語境裡分量不輕,它意味著當前階段，把功夫花在造數據和造環境上，回報可能比死磕算法創新更划算。
具體怎麼造數據？論文舉了兩個典型場景。
通用智能體場景里，DeepSeek鼓勵內部員工和外部合作夥伴把最新模型用到日常工作流中,自願反饋交互數據。根據這些真實交互里出現的接口，構建出大量模擬工具,復現真實工具的輸入格式、輸出結構、行為約束，覆蓋常見的SaaS軟體和更專業的企業後台系統。同時收集內部員工提交的負反饋和失敗案例，重建工具上下文、用戶交互模式和失敗條件，讓失敗可以被系統性地復盤和針對性訓練。
編程智能體場景里，環境構建靠多個專門化的智能體協作完成: 一個智能體判斷某個GitHub項目能不能在容器里跑起來、能不能自動驗證，設計具體的實現方向和評測點;另一個智能體負責搭建依賴環境、準備測試代碼，清理掉可能泄漏答案的痕跡;然後讓多個模型分別嘗試解題，獨立的質量檢查智能體審查環境和解題軌跡，發現問題就交給修復智能體處理。
這套多智能體協作造題的流程，讓我想起考試出題的質檢環節。一道好的考題不是隨便寫寫就行,得先有人出題，有人試做檢驗難度是否合適，還得有人專門挑錯防止題目本身有漏洞或者答案對不上。DeepSeek相當於把這套人類考試出題的質檢流程完全自動化了，用AI智能體扮演不同角色互相把關。
可控推理力度：花多少token由你說了算
後訓練階段還有一個挺有意思的創新點,雖然論文強調這不是"算法創新"，但設計思路很巧妙,**可控推理努力度**（Controllable Reasoning Effort）。
這解決的是一個實際部署痛點:同一個模型，簡單問題你希望它秒回，複雜問題你又希望它多想想。傳統做法要麼訓練多個不同大小的模型，要麼靠用戶自己在提示詞裡連哄帶騙地要求"請簡短回答"或者"請仔細思考"，效果很不穩定。
DeepSeek的方案是引入一個1到100的標量數值,直接寫進系統提示詞裡,數值越高代表要求越充分的推理。這個數值不是擺設，而是真的在強化學習階段被用來控制獎勵函數。
具體來說,每個推理努力度對應一個不同強度的"長度懲罰係數"，努力度越低，懲罰係數越大（懲罰係數按指數規律隨努力度衰減）。這意味著在低努力度下，模型被逼著儘量精簡回答；在高努力度下，懲罰變得很輕，模型可以放心地多花token去把問題想透。
論文附錄里給了一個很樸素的經濟學直覺來解釋為什麼用指數形式做懲罰衰減:假設繼續多想一步能帶來的"解題概率提升"本身是隨著已經想過的步數指數衰減的（想得越多，邊際收益越小），那麼要讓最優推理長度隨著努力度大致呈線性增長，懲罰係數就得設計成指數衰減的形式。這是個簡化模型，但至少給了這套參數設置一個不是拍腦袋的理由。
實測效果上，把努力度從25提到100，8個推理密集型基準測試的平均準確率從67.1%漲到76.3%，代價是輸出token量漲了大約2.5倍。有意思的是，收益並不是均勻分布的: 從60到80這段區間就已經拿到了接近滿血狀態大部分的準確率提升，只花了不到一半的token預算;但從80衝到100這最後一段，token消耗漲了1.6到1.8倍，換來的準確率提升卻很有限。
這就像健身房裡的邊際效應,你從完全不鍛煉到每周鍛煉三次,身體質素提升非常明顯;但從每周鍛煉五次加到每天鍛煉兩次,多付出的時間成本很大,身體指標的提升卻微乎其微。DeepSeek把這條曲線的形狀摸得很清楚，然後大方地把控制權交給用戶: 生產環境的API里直接開放了三檔預設（max對應100，high對應75，low對應50），讓開發者自己在成本和質量之間找平衡點。
跑分對比:小身板打出了大模型的戰鬥力
說了這麼多技術細節，最終還是要看實際表現。
論文給出了一份跟GPT-5.6 Sol、Claude Opus-5、Kimi-K3、GLM-5.3這些閉源和開源頂尖模型的對比表。幾個數字值得拎出來說:
在Codeforces編程競賽評分上，DeepSeek-V4.1-Flash拿到3471分，超過了自家上一代V4-Pro的3348分，也超過V4-Flash的3289分。
在DeepSWE v1.1這個軟體工程智能體基準上，V4.1-Flash達到74.2%的解決率，比V4-Flash的54.4%高出接近20個百分點，甚至超過了Opus-5的74.0%和GPT-5.6 Sol的73.0%。
在Terminal-Bench 2.1終端操作基準上，V4.1-Flash拿到90.6%，是所有參與對比模型里最高的分數。
在網路安全相關的CyberGym基準上，V4.1-Flash以88.1%的成績刷新了開源模型的記錄。
這些數字放在一起看，說明一件事: 一個體積更小、KV緩存開銷砍掉大半的模型，反而在多項智能體任務上超越了自己參數量更大的前代旗艦,甚至逼近部分閉源頂級模型。這不是簡單的"縮水版"，而是架構和訓練方法的雙重升級帶來的淨收益。
當然論文也很坦誠地指出了短板: 在需要專家級領域知識的科學類智能體任務（比如Terminal-Bench 4.0）上，跟頂尖閉源模型依然有差距;在視覺推理和圖表理解上超過了Kimi-K3，但跟最強閉源系統相比也還有肉眼可見的距離。
跑智能體訓練需要多大的基礎設施
最後聊一個容易被忽略但其實很硬核的部分,支撐這一切訓練的基礎設施, **DSec**（DeepSeek Elastic Compute）。
隨著智能體訓練環境的種類和數量爆炸式增長,DeepSeek需要同時跑數百萬個並發的沙箱容器實例，涵蓋不同的工具鏈、平台、代碼倉庫和依賴環境。這個規模下，傳統的容器編排工具（比如Kubernetes）力不從心了。
DSec的核心設計思路是放棄嚴格的全局一致性，換取水平擴展能力。它把大量計算節點切分成多個獨立的"分片"（scale unit），互相隔離，防止某個實驗裡內存吃緊的任務拖垮其他不相關的工作。調度層面用了一個自研的放置引擎，多個副本各自獨立預測資源可用情況、做出"夠用就行"的放置決策，不做同步協調,靠每個節點自己校驗最終放置決策是否超出本地承受能力來兜底。
單節點密度方面，通過硬體級別的NUMA分區綁定，把單台物理機能承載的並發容器數量從大約1000個提升到2500個以上,幾乎翻了一倍半。
這套系統還專門處理了一個挺有意思也挺讓人哭笑不得的問題: 強化學習訓練過程中，AI智能體會主動嘗試"作弊"或者不小心把訓練環境搞崩潰。論文裡提到的真實案例包括利用XFS驅動的權限漏洞、AppArmor里的非法內存訪問、從軟體包鏡像服務里泄漏答案，甚至有智能體直接刪除關鍵的系統二進制文件。DeepSeek用每個沙箱獨立的AppArmor權限策略和精細的eBPF網路策略來防範這類行為，一旦智能體把環境搞崩，就直接判定這條訓練軌跡失敗。
這個細節挺提醒人的: 當AI智能體變得越來越能幹，訓練用的基礎設施本身也得跟著"防作弊""防破壞"升級，這不是危言聳聽，而是已經在生產環境裡真實發生的事。
Q&A
Q1：DeepSeek-V4.1-Flash的KV緩存到底壓縮了多少？
A：全局KV緩存（存在HBM里）壓縮到每token 890字節，是上一代DeepSeek-V4-Flash的四分之一；持久化KV緩存（存在SSD或主機內存）通過SWA Bounded Replay技術進一步壓縮到V4-Flash的八分之一。
Q2：DeepSeek-V4.1-Flash的參數規模和激活參數是多少？
A：模型總共有552B骨幹參數，外加196B專門用於Engram記憶模組的參數。得益於Causal Encoder-Decoder架構，每處理一個token預填充階段只激活8B參數，解碼階段激活16B參數。
Q3：DeepSeek-V4.1-Flash支持多長的上下文？
A：模型原生支持最長100萬token的上下文，並且在這麼長的上下文下，單token解碼所需的計算量幾乎保持不變，從4K擴展到1M只增加約四分之一的計算量。
