TRL 为视觉语言模型加入 MPO、GRPO、GSPO 对齐支持

Hugging Face 的 TRL 新增面向视觉语言模型的对齐方法支持，包括 Mixed Preference Optimization（MPO）、Group Relative Policy Optimization（GRPO）和 Group Sequence Policy Optimization（GSPO），并扩展 RLOO 与 Online DPO 到多模态场景。