跳到正文
原文
Hugging Face Blog·· 2024-10-16AI 评分50

Hugging Face 修复 Transformers 梯度累积损失计算错误

Fixing Gradient Accumulation

AI 导读

Hugging Face 修复了 Transformers Trainer 中梯度累积的损失计算错误:此前开启梯度累积时,token 级任务(如 causal LM)的损失按各批次损失取平均,而非按全部非 padding token 总数加权,导致与全批量训练结果不一致。

来源:Hugging Face Blog · huggingface.co