Hugging Face Blog·· 2024-01-10精选AI 评分62
Unsloth 与 TRL 集成：LLM 微调提速 2 倍、显存最多降 74%
Make LLM Fine-tuning 2x faster with Unsloth and 🤗 TRL
AI 导读
Hugging Face 博客介绍社区开发的轻量库 Unsloth，与 TRL 的 SFTTrainer、DPOTrainer 等配合可将 LLM 微调提速约 2 倍，显存占用最多降低 74%，且相对标准 QLoRA 精度损失为 0%。
推荐理由
原文给出 Unsloth 与 TRL 集成的实测加速与显存数据，读者可据此判断微调成本能降到什么程度。
来源：Hugging Face Blog · huggingface.co