跳到正文
原文
Hugging Face Blog·· 2023-02-15AI 评分22

我们为何转向 Hugging Face Inference Endpoints,或许你也应该考虑

Why we’re switching to Hugging Face Inference Endpoints, and maybe you should too

AI 导读

团队将原本跑在 AWS ECS + Fargate 上的 CPU 推理模型迁移到 Hugging Face Inference Endpoints,部署流程从六步简化为三步。基于 RoBERTa 文本分类模型的测试显示,large 实例延迟约 80ms,比此前 ECS 方案快一倍以上,但成本高出 24% 至 50%,large CPU 实例每月约多花 60 美元。

来源:Hugging Face Blog · huggingface.co