vLLM 发布 v0.27.0，支持 Kimi K3 等新模型
开源推理框架 vLLM 发布 v0.27.0，包含 242 位贡献者的 561 次提交。本次一次性落地 Kimi K3 全栈支持，并新增 Qwen3.5、K-EXAONE-2.0 等多个模型，同时升级 PyTorch 2.13 并优化 DeepSeek-V4 性能。对自建推理服务的开发者有用。
要点速览
- 01Kimi K3 全栈支持一次落地：核心模型、内核、Python/Rust 前端、量化检查点等
- 02新增 Qwen3.5 稠密与 MoE 模型、K-EXAONE-2.0-750B-A37B、jina-embeddings-v5 等模型
- 03升级到 PyTorch 2.13.0、Triton 3.7.1，属破坏性环境变更
- 04FlashAttention 4 在 SM100 上新增 FP8 KV cache 与 headdim-256 支持
- 05DeepSeek-V4 性能优化：序列并行及多项内核提速，端到端 TTFT 提升约 3.4%–3.9%
影响
对使用 vLLM 部署大模型推理的开发者有用，可运行 Kimi K3、Qwen3.5 等新模型并获得性能提升。
原文来自 vLLM（GitHub），版权归原作者所有。中文标题和摘要由 AI 根据原文自动生成，可能有误，请以原文为准。