Transformers v5 重构 Tokenization：更简单、更清晰、更模块化

Hugging Face 发布 Transformers v5，将 tokenizer 架构与训练词表分离，类似 PyTorch 分离网络结构与权重，使 tokenizer 可检查、可定制、可从零训练。v5 引入清晰的类层级和单一快速后端，并保留 BPE、Unigram、WordPiece 等算法支持。