vLLM 发布 v0.30.0，新增多款模型支持
vLLM 推出 v0.30.0 版本，包含 315 位贡献者的 762 次提交。新版本支持 DeepSeek-V4.1-Flash、GLM-5.3-Flash 等多款新模型，并引入 GPU 权重缓存、水印生成和 HiSparse 稀疏解码等新能力，适合自建推理服务的开发者。
要点速览
- 01包含 315 位贡献者的 762 次提交，其中 104 位为新贡献者
- 02新增 DeepSeek-V4.1-Flash、GLM-5.3-Flash、K2-Horizon、Cohere Compass 等模型支持
- 03新增 GPU 权重缓存守护进程，重启引擎时通过 --load-format ipc_cache 加载，无需从磁盘重读
- 04新增 Gumbel-max 水印生成与检测功能，支持按请求关闭，兼容投机解码
- 05新增 HiSparse：GPU 显存吃紧时将 KV 页溢出到主机内存的稀疏 MLA 解码层
影响
对自建大模型推理服务的开发者有用，可加快引擎重启速度、支持更多新模型，并为生成内容提供水印能力。
原文来自 vLLM（GitHub），版权归原作者所有。中文标题和摘要由 AI 根据原文自动生成，可能有误，请以原文为准。