Hugging Face Blog·· 2022-06-28AI 评分48
如何用 Accelerate 结合 DeepSpeed 加速大模型训练
Accelerate Large Model Training using DeepSpeed
AI 导读
Hugging Face 展示了用 Accelerate 库调用 DeepSpeed ZeRO 加速大模型训练的方法，无需改动代码即可启用 ZeRO Stage-2。
来源：Hugging Face Blog · huggingface.co
Accelerate Large Model Training using DeepSpeed
Hugging Face 展示了用 Accelerate 库调用 DeepSpeed ZeRO 加速大模型训练的方法，无需改动代码即可启用 ZeRO Stage-2。
来源：Hugging Face Blog · huggingface.co