Hugging Face Blog·· 2024-08-21AI 评分52
Hugging Face 用 Flash Attention 2 打包训练提升效率
Improving Hugging Face Training Efficiency Through Packing with Flash Attention 2
AI 导读
Hugging Face 在 Transformers 中推出 DataCollatorWithFlattening，使免 padding 的指令微调打包与 Flash Attention 2 兼容，训练吞吐最高提升 2 倍且收敛质量不变。
来源：Hugging Face Blog · huggingface.co