Hugging Face Blog·· 2024-09-20AI 评分28
用 Optimum-Intel 和 OpenVINO GenAI 优化并部署 Transformers 模型
Optimize and deploy with Optimum-Intel and OpenVINO GenAI
AI 导读
Hugging Face 与 Intel 合作的 Optimum-Intel 支持将 Transformers 模型导出为 OpenVINO IR，并通过 OpenVINO GenAI 的 LLMPipeline 在 C++ 或 Python 中部署。
来源：Hugging Face Blog · huggingface.co