Hugging Face Blog·· 2024-12-18精选AI 评分60
IBM 等联合发布混合 Mamba2 模型 Bamba-9B
Bamba: Inference-Efficient Hybrid Mamba2 Model
AI 导读
IBM、Princeton、CMU 和 UIUC 联合发布 Bamba-9B，一个在完全开放数据上训练的混合 Mamba2 模型，训练数据量 2.2T tokens。
推荐理由
Bamba-9B 用完全开放数据训练并给出 vLLM 实测吞吐与延迟数据，可对照同尺寸 Transformer 模型判断混合 Mamba2 架构的取舍。
来源：Hugging Face Blog · huggingface.co