跳到正文
原文
Hugging Face Blog·· 2024-02-29AI 评分22

在 Intel Gaudi 2 AI 加速器上运行文本生成 Pipeline

Text-Generation Pipeline on Intel® Gaudi® 2 AI Accelerator

AI 导读

Hugging Face 展示了如何用 Optimum Habana 的自定义 pipeline 类在 Intel Gaudi 2 加速器上运行 Llama 2 系列模型(7b、13b、70b)进行文本生成,只需几行代码即可完成端到端推理。

来源:Hugging Face Blog · huggingface.co