Hugging Face Blog·· 2021-04-16精选AI 评分60
Hugging Face 发布 Accelerate 库,让原始 PyTorch 训练脚本适配分布式与混合精度
Introducing 🤗 Accelerate
AI 导读
Hugging Face 发布 Accelerate 库,面向希望完全掌控训练循环、又不愿编写分布式训练和混合精度样板代码的 PyTorch 用户。只需在标准训练脚本中加入约五行代码,即可在单机多卡、多节点、TPU 等分布式环境以及有无混合精度的情况下运行,并自动处理设备放置。
推荐理由
官方给出五处代码改动即可切换分布式与混合精度的具体做法,便于评估对现有 PyTorch 训练脚本的改造成本。
来源:Hugging Face Blog · huggingface.co