Transformers v5.16.0 新增 Qwen4-Exp 模型支持
Hugging Face Transformers 发布 v5.16.0，新增对 Qwen4-Exp 实验性模型的支持。该模型基于 Qwen3.5 混合多模态架构，引入多项新组件，主打长上下文推理效率。使用该库的开发者可通过文档接入。
要点速览
- 01Transformers v5.16.0 新增 Qwen4-Exp 模型（PR #48337）
- 02Qwen4-Exp 基于 Qwen3.5 混合文本与多模态架构
- 03包含 GatedResidual、Qwen Sparse Attention、Per-Layer Embedding 三个组件
- 04QSA 结合 Gated DeltaNet，是首个同时集成线性与稀疏注意力的混合架构
- 05文档已在 Hugging Face 上线
影响
对使用 Transformers 库的开发者有用，可提前接入该实验性架构，长上下文场景的推理效率有望提升。
原文来自 Transformers（GitHub），版权归原作者所有。中文标题和摘要由 AI 根据原文自动生成，可能有误，请以原文为准。