Hugging Face Blog·· 2023-12-05精选AI 评分62
Hugging Face 与 AMD 合作：AMD GPU 开箱即用加速大语言模型
AMD + 🤗: Large Language Models Out-of-the-Box Acceleration with AMD GPU
AI 导读
Hugging Face 与 AMD 公布合作进展，Transformers 模型现可在 AMD Instinct GPU 上无需修改代码直接运行，并已支持 Flash Attention v2、Paged Attention、DeepSpeed、GPTQ 等加速与量化方案。
推荐理由
Hugging Face 与 AMD 公布 ROCm 适配进展，读者可了解在 AMD Instinct 上零改动运行 Transformers 的现状与性能对比。
来源：Hugging Face Blog · huggingface.co