DeepSeek 开源最新推理框架：单集群日吞吐 155 万亿 Token，KVCache 可保存 7 天

DeepSeek开源最新推理框架：单集群日吞吐155万亿Token，KVCache可保存7天 — infoq.cn · 10 小时前 · 🛠 工具 / 开源

DeepSeek 对外开源了其最新的推理框架，核心指标相当亮眼：单个集群可实现每日 155 万亿 Token 的吞吐量，同时引入了可保存长达 7 天的 KVCache 机制。对大模型推理服务而言，吞吐量直接决定单位算力能服务多少用户，而 KVCache 的保存时长则关系到多轮对话与长会话场景下的计算复用效率——传统做法中，会话结束或实例重启后缓存即被丢弃，后续请求需要重新对历史上下文做一遍预填充计算，浪费大量算力；将缓存持久化保留 7 天，意味着跨越数天的同一用户会话可以命中已有缓存，显著削减重复计算成本。这一框架延续了 DeepSeek 一贯的开源策略，把内部经过生产验证的工程能力以开放代码的形式释放给社区，开发者和企业可以基于它自建高吞吐推理服务。单集群日吞吐 155 万亿 Token 的数字背后，是一整套围绕并行调度、显存管理、请求批处理和缓存命中的系统工程优化，而非单一技巧的成果。对行业来说，这份开源不仅降低了自建推理基础设施的技术门槛，也把「缓存即算力」这一思路推到了台前：当推理成本成为大模型应用规模化的主要瓶颈时，谁能把历史计算的复用率做上去，谁就能在单位成本上占据优势。KVCache 长周期保存同时也对存储介质、缓存淘汰策略和集群内存管理提出了新的工程要求，是值得关注的技术方向。

核心信息

DeepSeek 正式开源了其新一代大模型推理框架，官方公布的性能数据为单个集群每天可完成 155 万亿 Token 的推理吞吐，这一量级意味着极低的单 Token 服务成本和极强的并发承载能力。
框架最具辨识度的设计是 KVCache 可以保存 7 天，缓存的长期持久化让跨天的多轮会话能直接复用此前的键值缓存，免去对历史上下文的重复预填充计算，从机制上削减了推理开销。
两项指标组合指向同一目标：推理成本优化。吞吐量决定同一份硬件能摊薄多少请求，缓存复用决定多少计算可以不重做，DeepSeek 把生产环境中验证过的这套系统工程方案完整开源给了社区。
长周期缓存并非免费午餐，它要求集群在存储层面对大容量 KV 数据做持久化管理，涉及缓存命中策略、淘汰机制和内存/存储分层设计，这套工程约束本身也是该开源项目值得拆解研究的部分。

💡 为什么值得读: 因为它把推理成本优化的两把钥匙——极致吞吐与长周期缓存复用——以开源形式摆上了桌，直接关系到所有做大模型服务的团队的选型。

✍️ 小编看法: 155 万亿这个数字固然吸睛，但我更看重那 7 天的 KVCache。大模型推理成本的大头之一是预填充——把历史上下文重新算一遍，业界常规做法只在会话存续期间保留缓存，DeepSeek 直接把时限拉到一周，等于把「上下文记忆」变成了可持续复用的资产。这对两条赛道都有冲击：一是推理服务商，缓存复用率会成为比拼单价之前更先决的成本变量，头部的规模效应会进一步放大；二是应用开发者，多轮、长期、碎片化的使用模式（比如跨天追问的助理类产品）的边际成本会被显著压低，可能催生一批以前因费用而做不长的产品形态。被忽视的代价则在于隐私与合规：缓存里躺着的是用户数天前的对话上下文，保存越久、复用越多，数据驻留、删除请求和隔离策略就越复杂，企业自部署时不能只算性能账。另一个值得琢磨的点是开源动机——把自家压成本的核心工程能力放出来，客观上是在把行业推理成本的水位打下来，同时吸引基础设施生态向自己的技术栈靠拢。接下来建议观察两件事：社区在真实生产环境复现这份吞吐数据的程度，以及其他头部玩家是否会跟进推出类似的持久化缓存机制，如果成为标配，「缓存命中率」可能会写进各家推理服务的定价页。

🏷️ DeepSeek, inference, KVCache, throughput