Hugging Face Blog·· 2022-09-16精选AI 评分62
用 DeepSpeed 和 Accelerate 实现极快的 BLOOM 推理
Incredibly Fast BLOOM Inference with DeepSpeed and Accelerate
AI 导读
Hugging Face 发布教程，展示如何用 DeepSpeed 和 Accelerate 加速 176B 参数的 BLOOM 模型推理。
推荐理由
文章给出 BLOOM 176B 在多种并行与量化方案下的实测吞吐和显存占用，可作为大模型推理部署的选型参考。
来源：Hugging Face Blog · huggingface.co