Hugging Face Blog·· 11 天前AI 评分34
Hugging Face tokenizers v1 发布：编码解码与扩展性能实测
tokenizers v1: encode, decode and scaling, measured
AI 导读
Hugging Face 发布 tokenizers v1，输出 token ID、API、词表和 merge ranks 与 v0.23 保持一致，速度常达 v0.23 的数十倍。
来源：Hugging Face Blog · huggingface.co