跳到正文
原文
Hugging Face Blog·· 2025-05-15精选AI 评分62

Falcon-Edge 发布 1B 与 3B 三值语言模型系列

Falcon-Edge: A series of powerful, universal, fine-tunable 1.58bit language models.

AI 导读

Falcon-Edge 系列发布,基于 BitNet 架构的三值(1.58bit)语言模型,提供 1B 和 3B 两种规模,各有 base 与指令微调版本。该系列采用新的预训练范式,单次训练同时产出 bfloat16 非量化版本、原生 BitNet 模型和便于微调的预量化 BitNet 变体,预训练数据约 1.5 Tera Tokens。

推荐理由

Falcon-Edge 用一次预训练同时产出 bfloat16 与三元量化版本,并给出可直接微调的工具链,读者可据此判断 1.58bit 模型的落地路径。

来源:Hugging Face Blog · huggingface.co