Hugging Face Blog·· 2025-08-08AI 评分36
Accelerate ND-Parallel 指南：如何高效进行多 GPU 训练
Accelerate ND-Parallel: A guide to Efficient Multi-GPU Training
AI 导读
Hugging Face 在 Accelerate 中联合 Axolotl 集成了 ND-Parallel，让训练脚本可任意组合数据并行、FSDP、张量并行与上下文并行等策略。
来源：Hugging Face Blog · huggingface.co