Hugging Face Blog·· 2023-10-03精选AI 评分62
Hugging Face tokenizers 新增 chat_template 属性，解决聊天格式错配导致的静默性能下降
Chat Templates: An End to the Silent Performance Killer
AI 导读
Hugging Face 为 tokenizers 新增 chat_template 属性，用 Jinja 模板保存模型训练时使用的对话格式，并随 tokenizer 一起加载。
推荐理由
Hugging Face 把聊天格式从硬编码改为随 tokenizer 保存的模板，读者可了解格式错配为何造成静默性能下降。
来源：Hugging Face Blog · huggingface.co