Hugging Face Blog·· 2024-02-01AI 评分42
Hugging Face Text Generation Inference 上线 AWS Inferentia2 与 Amazon SageMaker
Hugging Face Text Generation Inference available for AWS Inferentia2
AI 导读
Hugging Face Text Generation Inference（TGI）正式在 AWS Inferentia2 和 Amazon SageMaker 上全面可用，为生产级 LLM 部署提供 GPU 之外的替代方案。
来源：Hugging Face Blog · huggingface.co