Hugging Face Blog·· 2024-03-20精选AI 评分62
Hugging Face 博客介绍 GaLore：在消费级硬件上训练大模型
GaLore: Advancing Large Model Training on Consumer-grade Hardware
AI 导读
Hugging Face 博客介绍 GaLore 优化器，通过将梯度投影到低秩子空间，可把优化器状态显存占用降低 82.5% 以上，从而在 NVIDIA RTX 4090 等消费级 GPU 上训练最高 70 亿参数的 Llama 架构模型。
推荐理由
原文给出 GaLore 与 8-bit 优化器结合的训练流程和可运行代码，读者可据此在消费级显卡上复现大模型训练。
来源：Hugging Face Blog · huggingface.co