10月18日，调研机构SemiAnalysis发文称，英伟达通过一项上游vLLM优化，使2.8万亿参数量的Kimi K3模型在GB300 NVL72硬件上实现423 tok/s/user的推理速度，对比相同硬件性能提升1.68倍。
据介绍，该优化由英伟达CentML工程师Benjamin完成，采用大规模Megakernel融合，并使用Cute DSL编写英伟达新推出的解码专用内核。该Megakernel包含1.2万行代码。
IT之家注意到，英伟达还在为vLLM开发DeepSeek V4.1等其他模型的优化。