Hugging Face Blog·· 2022-09-27精选AI 评分62
Accelerate 如何借助 PyTorch 运行超大模型
How 🤗 Accelerate runs very large models thanks to PyTorch
AI 导读
Hugging Face 介绍 Accelerate 如何借助 PyTorch 的 meta device、自动 device map 和分片 checkpoint，在显存和内存有限的设备上加载并推理超大模型。
推荐理由
原文拆解了 Accelerate 借助 PyTorch meta device 与分片加载在有限显存下跑大模型的完整流程，方法可直接迁移。
来源：Hugging Face Blog · huggingface.co