图解 RLHF：从预训练、奖励模型到 PPO 微调的三步流程
Hugging Face 博客图解 RLHF 的完整训练流程，将其拆为预训练语言模型、收集人类偏好数据训练奖励模型、用 PPO 微调语言模型三个核心步骤。文中说明奖励模型输出标量奖励，训练时用 KL 散度惩罚策略偏离初始模型，并给出 OpenAI、Anthropic、DeepMind 在模型与奖励模型规模上的不同选择。
推荐理由：把 RLHF 拆成预训练、奖励模型、PPO 微调三步，并列出 TRL、TRLX、RL4LMs 等开源工具与数据成本。