vLLM 发布 v0.32.0：结构化决策端点与低精度 KV cache
vLLM 发布 v0.32.0 版本，包含 363 位贡献者的 814 次提交。主要更新包括新的结构化决策端点 /v1/systemone、通用 hf 解析器、多平台低精度 KV cache 支持以及 Model Runner V2 推理引擎改进。对使用 vLLM 部署大模型的开发者有参考价值。
要点速览
- 01共 814 次提交，来自 363 位贡献者，其中 121 位为新贡献者
- 02新增 /v1/systemone 端点，默认开启，支持 choice、noul、score 类型问题
- 03新增 hf 工具与推理解析器，读取模型 response_template，无需模型专用解析器
- 04NVFP4 KV cache 扩展到 SM8x、SM90、SM12x 等多平台；ROCm 新增 4-bit KV cache，密度约为 FP8 的 2 倍
- 05GLM-5.x 在 SM100 默认 FP8 KV cache，KV 内存减半，吞吐提升 2.3-5.5%
影响
对使用 vLLM 自部署大模型的开发者有用，可降低 KV cache 显存占用并简化解析器配置。
原文来自 vLLM（GitHub），版权归原作者所有。中文标题和摘要由 AI 根据原文自动生成，可能有误，请以原文为准。