Hugging Face Blog·· 2024-03-20AI 评分36
在 Intel Meteor Lake 笔记本上运行 Phi-2：基于 OpenVINO 的 4-bit 量化实践
A Chatbot on your Laptop: Phi-2 on Intel Meteor Lake
AI 导读
Hugging Face 与 Intel 合作，通过 Optimum Intel 中的 OpenVINO 集成对微软 Phi-2 模型权重做 4-bit 量化，并在搭载 Core Ultra 7 155H 的中端笔记本上完成本地推理。
来源：Hugging Face Blog · huggingface.co