Hugging Face Blog·· 2023-05-24精选AI 评分78
Hugging Face 用 bitsandbytes 与 QLoRA 支持 4-bit 量化模型
Making LLMs even more accessible with bitsandbytes, 4-bit quantization and QLoRA
AI 导读
Hugging Face 与 bitsandbytes 合作，在 transformers 中支持以 4-bit 精度加载和运行模型，覆盖文本、视觉、多模态等大多数 HF 模型，并可在 4bit 模型上训练适配器。
推荐理由
Hugging Face 把 4-bit 量化与 QLoRA 集成进 transformers，读者可据此判断消费级硬件微调大模型的门槛变化。
来源：Hugging Face Blog · huggingface.co