Hugging Face Blog·· 2023-09-13精选AI 评分62
用 PyTorch FSDP 微调 Llama 2 70B
Fine-tuning Llama 2 70B using PyTorch FSDP
AI 导读
Hugging Face 发布教程，介绍如何用 PyTorch FSDP 结合 Transformers、Accelerate 和 TRL 微调 Llama 2 70B，并在 2 节点 16 张 A100 80GB 上完成训练，耗时约 13.5 小时。
推荐理由
原文给出 70B 模型多节点微调的三个具体瓶颈及对应配置改法，可迁移到其他大模型训练场景。
来源：Hugging Face Blog · huggingface.co