Hugging Face Blog·· 2023-07-04AI 评分40
如何用 Hugging Face Inference Endpoints 部署 LLM
Deploy LLMs with Hugging Face Inference Endpoints
AI 导读
Hugging Face Inference Endpoints 可将 Falcon 40B instruct 等开源 LLM 部署为生产级 API，无需管理基础设施，支持自动扩缩容与 scale-to-zero。
来源：Hugging Face Blog · huggingface.co