Hugging Face Blog·· 2024-03-18AI 评分36
Hugging Face 推出 Quanto:面向 Optimum 的 PyTorch 量化后端
Quanto: a PyTorch quantization backend for Optimum
AI 导读
Hugging Face 发布 Quanto,一个面向 Optimum 的 PyTorch 量化后端,支持 int2、int4、int8 和 float8 权重以及 int8、float8 激活,可在 CUDA 和 MPS 等任意设备上运行。
来源:Hugging Face Blog · huggingface.co