Hugging Face Blog·· 2024-09-18精选AI 评分60
Hugging Face 把 Llama3 8B 微调到 1.58bit：极低比特量化实践
Fine-tuning LLMs to 1.58bit: extreme quantization made easy
AI 导读
Hugging Face 团队基于微软 BitNet 架构，成功将 Llama3 8B 微调到 1.58bit，每个参数只用 -1、0、1 三个值表示，模型已发布在 HF1BitLLM 组织下。
推荐理由
Hugging Face 团队公开了把已有 Llama3 8B 微调到 1.58bit 的完整流程与踩坑记录，可迁移到其他模型的极低比特量化。
来源：Hugging Face Blog · huggingface.co