Hugging Face Blog·· 2024-01-15AI 评分36
用 ONNX Runtime 和 Olive 加速 SD Turbo 与 SDXL Turbo 推理
Accelerating SD Turbo and SDXL Turbo Inference with ONNX Runtime and Olive
AI 导读
Hugging Face 发布经 Olive 优化的 SD Turbo 和 SDXL Turbo 模型,在 NVIDIA GPU 上通过 ONNX Runtime CUDA 与 TensorRT 执行提供程序加速推理,吞吐量最高较 PyTorch 提升 229%(SDXL Turbo)和 120%(SD Turbo)。
来源:Hugging Face Blog · huggingface.co