Hugging Face 发布 tokenizers v1，性能提升数十倍
Hugging Face 发布 tokenizers v1 候选版本，对分词库进行大规模性能重构，速度比 v0.23 快数十倍。v1 保持与旧版相同的 token 输出和 API，通过 SIMD 分割、词缓存、合并循环重写等手段加速。对需要大规模训练或高并发推理服务的开发者有用。
要点速览
- 01tokenizers v1 输出与 v0.23 完全相同的 token ID，保留 API、词表和合并顺序
- 02相比 v0.23 性能常提升数十倍，基准测试基于 tokbench 仓库可复现
- 03用 SIMD 位流运算替代正则引擎做预分词，一次处理 64 字节
- 04引入线程本地词缓存，重复词只需合并一次
- 05支持原生多线程并行编码，消除单锁瓶颈；IBM、NVIDIA 等参与测试
背景
随着模型变快、工作负载规模扩大，CPU 分词可能拖慢 GPU，成为训练和推理的瓶颈，因此 Hugging Face 将 v1 重点放在性能上。
影响
对大规模数据训练、高并发推理服务、反复处理长文本的开发者，可减少 GPU 等待 CPU 分词的时间。
原文来自 Hugging Face 博客，版权归原作者所有。中文标题和摘要由 AI 根据原文自动生成，可能有误，请以原文为准。