AWS Machine Learning Blog· Sunita Nadampalli·· 4 小时前AI 评分42
vLLM 推出 push 模式 KV 传输,分拆推理 TTFT 最高提升 3 倍
Push-based KV transfer to improve TTFT and TPOT for disaggregated inference in vLLM
AI 导读
vLLM 新增 push-based NIXL connector,把 prefill 后的 KV 传输协调与准备工作移出关键路径,在 Amazon EC2 P5en + EFA 的 1P1D 部署上,Qwen3-32B 的 TTFT 最高提升 3 倍、TPOT 提升最多 30%。该功能先在 AWS Trainium 集群上验证,再以与加速器无关的形式贡献给 vLLM,GPU 集群同样受益。
来源:AWS Machine Learning Blog · aws.amazon.com