跳到正文
原文
Hugging Face Blog·· 2026-04-29精选AI 评分60

Granite 4.1 LLM 是如何构建的:IBM 公开预训练、SFT 与 RL 全流程

Granite 4.1 LLMs: How They’re Built

AI 导读

IBM Granite 团队发布技术长文,详解 Granite 4.1 系列稠密解码器模型(3B、8B、30B)的构建流程:在约 15T token 上分五阶段预训练,上下文窗口经分阶段扩展至 512K,随后用约 4.1M 高质量样本做 SFT,并通过 on-policy GRPO 配合 DAPO loss 的多阶段 RL 强化数学、编码、指令遵循与通用对话能力。

推荐理由

Granite 4.1 完整披露五阶段预训练、SFT 与多阶段 RL 的数据配比和训练配置,可对照其 8B 稠密模型追平 32B-A9B MoE 的结论。

来源:Hugging Face Blog · huggingface.co