Transformers v5.21.0 新增两模型
Transformers 发布 v5.21.0，新增 MiniCPM-OCR 与 Flint 两个模型。MiniCPM-OCR 来自 OpenBMB 的 MiniCPM-V 系列，专注扫描页、截图、票据和表格等文本密集图像；Flint 是 Recursive 的 MoE 语言模型，结合滑动窗口与全注意力，并采用学习式注意力汇。
要点速览
- 01MiniCPM-OCR 来自 OpenBMB MiniCPM-V 家族，沿用 MiniCPM-V 4.6 架构：SigLIP 视觉编码器加窗口注意力合并器，搭配
- 02MiniCPM-OCR 专注读取文字密集图像，如扫描页、截图、收据和表格
- 03Flint 是 Recursive 的混合专家模型，多数层用滑窗注意力（覆盖当前及前 512 个 token），其余层用无位置编码的全注意力
- 04Flint 每个稀疏层按 sigmoid 分数将 token 路由到 256 个专家中的 6 个，并加入无门控共享专家，前两层为稠密层
影响
需要在 Transformers 中使用这两个模型的开发者可升级到 v5.21.0。
原文来自 Transformers（GitHub），版权归原作者所有。中文标题和摘要由本小程序编辑（AI 辅助生成，已人工审核）。