Hugging Face Blog·· 2024-08-12精选AI 评分62
TII 发布 Falcon Mamba：首个强性能无注意力 7B 模型
Welcome Falcon Mamba: The first strong attention-free 7B model
AI 导读
阿布扎比 TII 发布 Falcon Mamba 7B，采用纯 Mamba 架构并加入额外 RMS 归一化层以保证大规模训练稳定，模型以 TII Falcon Mamba 7B License 1.0 开放，可在 Hugging Face 生态中使用。
推荐理由
TII 发布首个纯 Mamba 架构的 7B 开源模型，读者可据此了解无注意力架构在长序列上的取舍。
来源：Hugging Face Blog · huggingface.co