2026年10月16日，vLLM官方博客发布《Hyper Optimizing Kimi K3 in vLLM: Moving Fast and Responsibly》技术复盘，署名作者为英伟达CentML工程师Benjamin Chislett。他用一段1.2万行CuTe DSL编写的Megakernel，提升了月之暗面2.8万亿参数Kimi K3的推理速度。
据SemiAnalysis测算，在相同的GB300 NVL72硬件上，K3达到423 tok/s/user，性能提升1.68倍。vLLM博客报告的数据为：batch 1下超过840 tokens/s，多个测试配置下解码吞吐提升1.5—2倍。
vLLM博客同时提到，“智能体优化的推理代码，正在超过人类团队的审查和维护速度”。Kimi K3采用Stable LatentMoE架构，拥有896个专家，每次推理激活16个；据SemiAnalysis分析，其一次前向计算HBM带宽需求约1.5TB，每次前向触发超过120次All-to-All通信。