Hugging Face Blog·· 15 小时前精选AI 评分62
PyTorch 2.15 为 MPS 带来 FP8 与更快的 LLM 解码
MPS in PyTorch 2.15
AI 导读
Hugging Face 的 PyTorch 团队介绍 PyTorch 2.15 的 MPS 后端更新,新增 float8_e4m3fn 张量与 F.scaled_mm 支持,MoE 模型解码速度比 2.14 提升 5–6.5 倍。
推荐理由
原文给出 MPS 后端在 FP8、MoE 解码和显存占用上的具体数字,可据此判断 Mac 本地跑模型的实际变化。
来源:Hugging Face Blog · huggingface.co