vLLM 发布 v0.33.0，新增多款模型支持
开源推理框架 vLLM 发布 v0.33.0 版本，包含 927 次提交、389 位贡献者参与。新版本支持 Reflection Beam-1.0、Step-5 Preview 等多款新模型，并升级到 PyTorch 2.14，CUDA 镜像仅保留 13.0 版本。对使用 vLLM 部署大模型的开发者有用。
要点速览
- 01包含 927 次提交，来自 389 位贡献者，其中 122 位为新贡献者
- 02新增支持 Reflection Beam-1.0（501B MoE、23B 激活）、Step-5 Preview、Yandex AliceAI-80B 等多款模
- 03升级到 PyTorch 2.14.0、torchvision 0.29.0、Triton 3.8.0
- 04发布镜像仅支持 CUDA 13.0，不再提供 CUDA 12.9 的 wheel 和镜像
- 05新增 AWS EFA 镜像，支持 EFA 实例上的 KV 传输和多节点服务
影响
对使用 vLLM 部署和推理大模型的开发者有用，需注意 CUDA 版本要求的变化。
原文来自 vLLM（GitHub），版权归原作者所有。中文标题和摘要由 AI 根据原文自动生成，可能有误，请以原文为准。