Hugging Face 如何用 TGI Benchmarking 工具评测文本生成推理

Hugging Face 发布博客介绍 Text Generation Inference（TGI）配套的 TGI Benchmarking 工具，可在 Hugging Face Space 中部署模型并通过 CLI 运行，同时测量吞吐量与延迟。该工具提供 pre-fill 统计与直方图、吞吐量对延迟散点图，并按 batch size 展示结果，帮助用户在 TTFT 与吞吐之间权衡调优部署。