vLLM 发布 v0.29.0，Model Runner V2 成默认
开源推理框架 vLLM 发布 v0.29.0 版本，包含 594 次提交、277 位贡献者参与。核心变化是 Model Runner V2 成为所有模型的默认运行器，并新增多款模型支持与性能优化。对使用 vLLM 部署大模型的开发者有参考价值。
要点速览
- 01该版本包含 594 次提交，来自 277 位贡献者，其中 91 位为新贡献者
- 02Model Runner V2 成为所有模型的默认运行器，新增 CUDA graph 内存分析、批量分片采样等能力
- 03新增模型支持：腾讯 770B/49B 激活 MoE 模型 Hy4-preview、Qwen3.8-Flash-Next、Kimi K3 NVFP4 等
- 04Kimi K3 与 DeepSeek V4 性能优化：MXFP4 融合核约降 5% 端到端延迟，Mamba 元数据核提速 6.6-7.6 倍
- 05MRV1 仍用于部分 ROCm 模型及 MRV2 尚不支持的功能
影响
对使用 vLLM 部署和推理大模型的开发者有用，升级后可获得默认运行器切换带来的性能与新模型支持。
原文来自 vLLM（GitHub），版权归原作者所有。中文标题和摘要由 AI 根据原文自动生成，可能有误，请以原文为准。