用 🤗 Transformers、TensorFlow 和 TPU 从零训练语言模型

Hugging Face 发布端到端教程，演示如何用 🤗 Transformers、TensorFlow 和 TPU 从零训练一个 RoBERTa base 模型，涵盖训练 tokenizer、在 WikiText v1 上分词并转为 TFRecord 上传 GCS，再到模型训练与上传的完整流程。代码默认使用 BERT 规模模型，可通过修改配置扩展到更大模型和更强 TPU pod 切片。