Hugging Face Blog·· 2024-07-18精选AI 评分62
Hugging Face TGI 推出 Multi-LoRA 服务：一次部署可服务 30 个模型
TGI Multi-LoRA: Deploy Once, Serve 30 Models
AI 导读
Hugging Face 为 TGI 推出 Multi-LoRA 服务，只需部署一次基础模型，即可根据请求中的 adapter_id 动态选择对应的 LoRA 适配器，官方称可服务 30 个模型。
推荐理由
原文给出 TGI Multi-LoRA 的部署方式与成本对比，读者可据此判断多微调模型能否合并到一次部署。
来源：Hugging Face Blog · huggingface.co