Hugging Face Blog·· 2023-11-07AI 评分36
用 AWS Inferentia2 加速 Llama 2 文本生成
Make your llama generation time fly with AWS Inferentia2
AI 导读
Hugging Face 的 optimum-neuron 现已支持在 AWS Inferentia2 上部署 LLM 进行文本生成，并以 Llama 2 作为演示模型。
来源：Hugging Face Blog · huggingface.co