Hugging Face Blog·· 2025-06-03精选AI 评分62
TRL 支持 vLLM 共置：训练与推理共享同一批 GPU
No GPU left behind: Unlocking Efficiency with Co-located vLLM in TRL
AI 导读
Hugging Face 的 TRL 通过 PR #3394 支持 vLLM 的 external launcher，让训练与推理共置在同一批 GPU 上，不再需要单独的 vLLM 服务器进程。
推荐理由
原文给出同卡共置训练与推理的实现方式和多组吞吐对比，读者可据此判断 GRPO 训练的成本变化。
来源：Hugging Face Blog · huggingface.co