Hugging Face Blog·· 2024-07-22精选AI 评分60
WWDC 24：用 Core ML 在 Mac 上运行 Mistral 7B
WWDC 24: Running Mistral 7B with Core ML
AI 导读
Hugging Face 发布教程，介绍如何借助 WWDC 24 的新 Core ML 特性在 Mac 上运行 Mistral 7B，并用不到 4GB 内存完成推理。
推荐理由
Hugging Face 团队给出把 Mistral 7B 转成 Core ML 并跑在 Mac 上的完整步骤，可据此复现端侧 LLM 部署流程。
来源：Hugging Face Blog · huggingface.co