BLOOM 训练背后的技术：176B 参数模型如何用 Megatron-DeepSpeed 完成训练

Hugging Face 披露了 176B 参数多语言模型 BLOOM 的训练技术细节，该模型基于 GPT3 架构，使用 Megatron-DeepSpeed 框架在 384 张 80GB A100 GPU 上训练，耗时约 3.5 个月。训练数据为 59 种语言、350B token，模型词表大小 250,680，采用 3D 并行（数据、张量、流水线并行）方案。