跳到正文
原文
Hugging Face Blog·· 2023-08-08精选AI 评分62

Hugging Face 发布 Swift Transformers,在 Apple 设备上运行端侧 LLM

Releasing Swift Transformers: Run On-Device LLMs in Apple Devices

AI 导读

Hugging Face 发布 swift-transformers,一个用 Swift 实现类 transformers API 的包,专注文本生成,并同时放出 swift-chat 演示应用、更新版 exporters 与 transformers-to-coreml 转换工具,以及 Llama 2 7B、Falcon 7B 等已转换好的 Core ML 模型。

推荐理由

官方给出在 Apple 设备上跑 Llama 2 等模型的完整工具链与转换路径,可据此评估端侧部署的可行步骤。

来源:Hugging Face Blog · huggingface.co