跳到正文
原文
Hugging Face Blog·· 2024-03-18AI 评分36

Hugging Face 推出 Quanto:面向 Optimum 的 PyTorch 量化后端

Quanto: a PyTorch quantization backend for Optimum

AI 导读

Hugging Face 发布 Quanto,一个面向 Optimum 的 PyTorch 量化后端,支持 int2、int4、int8 和 float8 权重以及 int8、float8 激活,可在 CUDA 和 MPS 等任意设备上运行。

来源:Hugging Face Blog · huggingface.co