Hugging Face Blog·· 2024-01-30AI 评分30
在 Intel Xeon 上用 🤗 Optimum Intel 加速 StarCoder：Q8/Q4 量化与推测解码
Accelerate StarCoder with 🤗 Optimum Intel on Xeon: Q8/Q4 and Speculative Decoding
AI 导读
Hugging Face 在 Intel 第四代 Xeon 上通过 8bit/4bit 量化结合辅助生成，让 StarCoder-15B 推理加速超过 7 倍。
来源：Hugging Face Blog · huggingface.co