Hugging Face Blog·· 2025-05-15精选AI 评分62
Falcon-Edge 发布 1B 与 3B 三值语言模型系列
Falcon-Edge: A series of powerful, universal, fine-tunable 1.58bit language models.
AI 导读
Falcon-Edge 系列发布,基于 BitNet 架构的三值(1.58bit)语言模型,提供 1B 和 3B 两种规模,各有 base 与指令微调版本。该系列采用新的预训练范式,单次训练同时产出 bfloat16 非量化版本、原生 BitNet 模型和便于微调的预量化 BitNet 变体,预训练数据约 1.5 Tera Tokens。
推荐理由
Falcon-Edge 用一次预训练同时产出 bfloat16 与三元量化版本,并给出可直接微调的工具链,读者可据此判断 1.58bit 模型的落地路径。
来源:Hugging Face Blog · huggingface.co