Hugging Face Blog·· 2021-01-19精选AI 评分62
用 DeepSpeed 和 FairScale 的 ZeRO 训练更快、装下更大模型
Fit More and Train Faster With ZeRO via DeepSpeed and FairScale
AI 导读
Hugging Face 的 transformers v4.2.0 起通过 --sharded_ddp 和 --deepspeed 两个 Trainer 参数实验性支持 FairScale 与 DeepSpeed 的 ZeRO 功能。
推荐理由
作者用 t5-large 与 t5-3b 实测对比 FairScale 与 DeepSpeed 的显存与速度差异，并给出可直接复用的 Trainer 参数。
来源：Hugging Face Blog · huggingface.co