Hugging Face Blog·· 2023-02-15AI 评分22
我们为何转向 Hugging Face Inference Endpoints,或许你也应该考虑
Why we’re switching to Hugging Face Inference Endpoints, and maybe you should too
AI 导读
团队将原本跑在 AWS ECS + Fargate 上的 CPU 推理模型迁移到 Hugging Face Inference Endpoints,部署流程从六步简化为三步。基于 RoBERTa 文本分类模型的测试显示,large 实例延迟约 80ms,比此前 ECS 方案快一倍以上,但成本高出 24% 至 50%,large CPU 实例每月约多花 60 美元。
来源:Hugging Face Blog · huggingface.co