英伟达优化 Kimi K3 模型推理速度，提升 1.68 倍

英伟达优化 Kimi K3 模型推理速度，提升 1.68 倍 — ithome.com · 9 小时前 · 🤖 AI / ML

调研机构 SemiAnalysis 于 10 月 18 日发布报告指出，英伟达通过一项已合并至上游 vLLM 的优化，让参数规模达 2.8 万亿的 Kimi K3 实现了每用户每秒 423 个 Token 的推理速度。在相同的 GB300 NVL72 硬件环境下，这一成绩相比优化前提升了 1.68 倍，意味着无需更换或增加硬件，仅靠软件层面的改进就能把单位算力产出的推理吞吐量提高近七成。具体完成这项工作的是英伟达旗下 CentML 团队的工程师 Benjamin，其核心技术手段是大规模 Megakernel 融合：将解码阶段所需的多个计算步骤合并为一个整体内核，并使用 Cute DSL 编写针对英伟达最新硬件的解码专用内核。这个 Megakernel 的代码量达到 1.2 万行。值得一提的是，如此规模的底层内核代码在很大程度上代表了借助辅助工具生成复杂计算内核的发展方向——由工程师定义目标与结构，再通过高层领域专用语言描述并产出高度优化的硬件级实现。除了 Kimi K3 之外，英伟达团队还在为 vLLM 开发针对 DeepSeek V4.1 等其他热门开源大参数推理场景的优化，表明这类内核级加速工作正在成为一项持续性、可复用的工作，而非针对单一开源项目的一次性调优。整体来看，这则消息说明推理性能的竞争焦点正从硬件规格转向软件栈与内核实现效率，上游开源推理框架正在成为各家芯片厂商展现实力的主战场。

核心信息

SemiAnalysis 的测试显示，英伟达针对 vLLM 的上游优化使 2.8 万亿参数的 Kimi K3 在 GB300 NVL72 上达到 423 tok/s/user 的解码速度，与同硬件的基线相比性能提升 1.68 倍，即同等硬件投入下推理吞吐接近原先的 1.7 倍。
该优化由英伟达 CentML 团队工程师 Benjamin 完成，核心思路是大规模 Megakernel 融合：把解码路径上的多个操作合并为单一内核，减少内存往返与调度开销，并针对英伟达新硬件编写解码专用内核。
整个 Megakernel 使用 Cute DSL 编写，代码规模达 1.2 万行，这种借助领域专用语言描述、再产出底层高性能计算内核的方式，被视为高级计算内核开发的新范式。
英伟达的优化工作以向上游 vLLM 贡献的形式落地，且不止于 Kimi K3，团队还在开发 DeepSeek V4.1 等其他开源权重推理场景的加速方案，说明这是面向整个开源推理生态的持续投入。

💡 为什么值得读: 在算力成本居高不下的当下，一次不改硬件就能带来 1.68 倍推理提速的上游优化，直接关系到每一个部署推理服务的团队的钱包，而其背后的内核开发范式变化更值得长期关注。

✍️ 小编看法: 这则消息最值得玩味的地方，不在于 1.68 倍这个数字本身，而在于它揭示的竞争层级的迁移。前两年大家比拼的是芯片规格、显存带宽和互连拓扑，如今同样的 GB300 NVL72 板卡，能不能榨出近七成的额外性能，取决于有没有人愿意往内核里钻一万两千行代码。这意味着算力采购正在变成一场软件栈的选型：买了同样的硬件，用不同的推理框架和内核版本，成本可以差出一大截，这对中小部署方的启示非常直接——上线前先确认你的推理栈是否用上了最新的内核优化。另一个被不少人忽略的信号是 1.2 万行代码的内核配合 DSL 编写这件事。手写这种规模的底层内核在过去是极少数专家的专利，如今借助高层描述语言和辅助工具，工程团队可以更快地产出针对特定硬件和特定解码路径的深度优化版本，这实际上拉低了极致性能优化的门槛，也会加速优化迭代的节奏——今天是一家厂商放出的版本，明天可能就有开源社区跟进的变体。还有一个耐人寻味的细节：英伟达选择把优化直接贡献到 vLLM 上游，而不是做成自家闭源扩展，说明上游框架已经成为厂商争取开发者心智的阵地，谁的补丁被默认合并，谁就掌握了生态的话语权。接下来值得观察两点：一是这些优化在不同负载和上下文长度下的实际收益是否稳定；二是 DeepSeek V4.1 等后续优化何时落地，以及社区会不会很快给出对比复现的数据。

🏷️ NVIDIA, vLLM, inference, Kimi