Hugging Face 推出 Quanto：面向 Optimum 的 PyTorch 量化后端
Hugging Face 发布 Quanto，一个面向 Optimum 的 PyTorch 量化后端，支持 int2、int4、int8 和 float8 权重以及 int8、float8 激活，可在 CUDA 和 MPS 等任意设备上运行。
#部署/工程
#部署/工程
今日 8 条Hugging Face BlogAI 评分3636
Hugging Face BlogAI 评分3636 Hugging Face 用 Optimum Intel 与 fastRAG 在 CPU 上优化嵌入模型
Hugging Face 发布教程，展示如何用 Optimum Intel 与 fastRAG 在基于 Xeon 的 CPU 上加速嵌入模型并接入现有 RAG 流程。
Hugging Face BlogAI 评分2222 在 Intel Gaudi 2 AI 加速器上运行文本生成 Pipeline
Hugging Face 展示了如何用 Optimum Habana 的自定义 pipeline 类在 Intel Gaudi 2 加速器上运行 Llama 2 系列模型（7b、13b、70b）进行文本生成，只需几行代码即可完成端到端推理。
Hugging Face Blog精选AI 评分7878 Google 发布开源大模型 Gemma，Hugging Face 全面集成
Google 发布开源大模型家族 Gemma，包含 2B 和 7B 两种尺寸，各有基础版和指令微调版，上下文长度 8K tokens。Gemma-7B 在 LLM Leaderboard 上得分 63.75，性能接近 Mistral 7B；Hugging Face 提供了 Transformers、Google Cloud、Inference Endpoints 集成以及基于 TRL 的微调示例。
推荐理由：Google 发布 Gemma 开源模型家族，读者可了解其两种尺寸、性能位次及在 Hugging Face 生态中的部署与微调路径。
Hugging Face BlogAI 评分2020 AMD 与 Hugging Face 联合举办 Pervasive AI 开发者大赛
AMD 与 Hugging Face 联合启动 Pervasive AI Developer Contest，面向全球开发者开放生成式 AI、机器人 AI 和 PC AI 三个赛道，总奖金 16 万美元，单个获奖者最高可得 1 万美元，并提供 700 个 AMD 平台供参赛者使用。
Hugging Face BlogAI 评分4242 Hugging Face Text Generation Inference 上线 AWS Inferentia2 与 Amazon SageMaker
Hugging Face Text Generation Inference（TGI）正式在 AWS Inferentia2 和 Amazon SageMaker 上全面可用，为生产级 LLM 部署提供 GPU 之外的替代方案。
Hugging Face BlogAI 评分3030 在 Intel Xeon 上用 🤗 Optimum Intel 加速 StarCoder：Q8/Q4 量化与推测解码
Hugging Face 在 Intel 第四代 Xeon 上通过 8bit/4bit 量化结合辅助生成，让 StarCoder-15B 推理加速超过 7 倍。
Hugging Face BlogAI 评分4242 Hugging Face 与 Google Cloud 达成战略合作，共建开放 AI
Hugging Face 宣布与 Google Cloud 达成战略合作，在开放科学、开源、云和硬件领域展开协作，帮助企业在 Hugging Face 开放模型与 Google Cloud 的 Vertex AI、TPU 等基础设施上构建自己的 AI。
Hugging Face BlogAI 评分3636 用 ONNX Runtime 和 Olive 加速 SD Turbo 与 SDXL Turbo 推理
Hugging Face 发布经 Olive 优化的 SD Turbo 和 SDXL Turbo 模型，在 NVIDIA GPU 上通过 ONNX Runtime CUDA 与 TensorRT 执行提供程序加速推理，吞吐量最高较 PyTorch 提升 229%（SDXL Turbo）和 120%（SD Turbo）。
Hugging Face Blog精选AI 评分6262 如何在 Hugging Face Spaces 上用 Gradio 免费运行 ComfyUI 工作流
Hugging Face 官方博客给出教程，把 ComfyUI 工作流转成 Gradio 应用并部署到 Spaces 的 ZeroGPU 上免费运行。
推荐理由：完整给出从 ComfyUI 工作流导出 Python、包成 Gradio 应用并部署到 ZeroGPU 的步骤，可照着复现。
Hugging Face Blog精选AI 评分6262 用投机解码让 Whisper 推理提速 2 倍
Hugging Face 博客介绍如何用投机解码将 Whisper 推理速度提升约 2 倍，同时保证输出与单独使用主模型完全一致。
推荐理由：给出 Whisper 投机解码的完整实现与基准数据，读者可据此在现有管线中获得约 2 倍加速且输出不变。
Mistral AI精选AI 评分8888 Mistral AI 发布开源稀疏 MoE 模型 Mixtral 8x7B
Mistral AI 发布 Mixtral 8x7B，一个采用 Apache 2.0 许可的稀疏混合专家（SMoE）开放权重模型，同时发布经监督微调和 DPO 优化的 Mixtral 8x7B Instruct。
推荐理由：官方给出稀疏 MoE 的参数量与推理成本结构，可据此判断开放权重模型在成本与性能间的取舍。
Mistral AI精选AI 评分8080 Mistral AI 开放首个平台服务 La Plateforme 测试版
Mistral AI 开放首个平台服务 La Plateforme 的 beta 访问，提供三个 chat 端点和一 个 embedding 端点，各有不同的性能与价格取舍。
推荐理由：Mistral 首次开放平台 API，给出三个 chat 端点与 embedding 端点的性能价格取舍，可据此判断其服务化路线。
Hugging Face Blog精选AI 评分6262 Hugging Face 详解混合专家模型 MoE
Hugging Face 发布长文《Mixture of Experts Explained》，系统讲解 MoE 的构成、训练与推理取舍。文章指出 MoE 用稀疏层替换部分 FFN 层并配路由网络，预训练更快、推理比同参数量稠密模型更快，但需把全部专家载入显存，例如 Mixtral 8x7B 需容纳 47B 参数。
推荐理由：系统梳理 MoE 的构成、训练与推理取舍，并给出并行与部署的实践要点，适合理解稀疏模型为何省算力却吃显存。
Hugging Face Blog精选AI 评分8282 Mixtral 8x7B 发布并集成进 Hugging Face 生态
Mistral 发布 Mixtral 8x7B，采用 MoE 架构，在多项基准上超过 Llama 2 70B 并追平 GPT-3.5，以 Apache 2.0 许可开放。
推荐理由：Hugging Face 官方给出 Mixtral 在自家生态的完整接入方式，包括推理、量化与单卡微调的具体路径。
Hugging Face Blog精选AI 评分6262 Hugging Face 发布 Optimum-NVIDIA，一行代码加速 LLM 推理
Hugging Face 发布 Optimum-NVIDIA 推理库，只需把 transformers 的 pipeline 导入改为 optimum.nvidia 一行代码，即可在 NVIDIA 平台获得最高 28 倍吞吐量和 1200 tokens/秒。
推荐理由：官方给出单行代码接入方式与首 token 延迟、吞吐量对比数据，可据此判断现有 LLaMA 推理流程的改造代价。
Hugging Face BlogAI 评分5252 Hugging Face 如何让 LoRA 推理提速 300%：告别冷启动
Hugging Face 在 Hub 的 Inference API 中实现 LoRA 动态加载，保持基础模型常驻、按请求即时加载和卸载 LoRA 适配器，把冷启动时间从 25s 降到 3s，用户请求响应时间从 35s 降到 13s。
Hugging Face Blog精选AI 评分6262 Hugging Face 与 AMD 合作：AMD GPU 开箱即用加速大语言模型
Hugging Face 与 AMD 公布合作进展，Transformers 模型现可在 AMD Instinct GPU 上无需修改代码直接运行，并已支持 Flash Attention v2、Paged Attention、DeepSpeed、GPTQ 等加速与量化方案。
推荐理由：Hugging Face 与 AMD 公布 ROCm 适配进展，读者可了解在 AMD Instinct 上零改动运行 Transformers 的现状与性能对比。
Hugging Face BlogAI 评分3636 用 AWS Inferentia2 加速 Llama 2 文本生成
Hugging Face 的 optimum-neuron 现已支持在 AWS Inferentia2 上部署 LLM 进行文本生成，并以 Llama 2 作为演示模型。
Hugging Face BlogAI 评分2222 Hugging Face Hub 推出存储区域功能
Hugging Face 面向 Enterprise Hub 客户推出 Storage Regions，可让组织自行选择模型和数据集的存储位置。目前支持 US 和 EU 两个区域，亚太区即将上线；非默认位置的仓库会直接显示 Region 标签。官方称欧洲用户将仓库放在 EU 区域时，上传和下载速度约为存放在 US 时的 4-5 倍。
Hugging Face BlogAI 评分3838 用 Hugging Face Inference Endpoints 部署嵌入模型
Hugging Face 发布博客，介绍如何通过 Text Embeddings Inference（TEI）将开源嵌入模型部署到 Hugging Face Inference Endpoints，并支持大规模批量请求。
Hugging Face Blog精选AI 评分6262 Hugging Face 实测 SDXL 推理优化：从 28GB 显存降到 11.5GB
Hugging Face 在 A100 40GB 上实测了 SDXL 的多项推理优化，未优化时显存占用 28GB、延迟 72.2 秒，使用 fp16 后降至 21.7GB 和 14.8 秒。
推荐理由：Hugging Face 官方给出 SDXL 各项推理优化的实测数据，读者可据此按显存和延迟取舍配置。
Hugging Face Blog精选AI 评分6262 Gradio-Lite 发布：完全在浏览器中运行的无服务器 Gradio
Hugging Face 发布 @gradio/lite，一个借助 Pyodide 让 Gradio 应用直接在浏览器中运行的 JavaScript 库，无需服务端基础设施。
推荐理由：Gradio 官方给出浏览器端无服务器运行方案，读者可据此判断部署成本与加载延迟的取舍。
OpenAI NewsAI 评分2222 Retool 用 GPT-4 为企业构建 AI 应用
Retool 借助 GPT-4 为企业提供快速、安全的 AI 应用构建方式。该方案面向商业场景，强调速度与安全性。
Hugging Face BlogAI 评分4040 ONNX Runtime 加速 Hugging Face 超 13 万个模型
Hugging Face 上已有超过 13 万个支持 ONNX 的模型可借助 ONNX Runtime 加速，其中包括众多 LLM 和云端模型。ONNX Runtime 已支持 90 多个 Hugging Face 模型架构，涵盖 BERT、GPT2、T5、Whisper、Stable-Diffusion 等最热门架构。
Hugging Face BlogAI 评分4242 Hugging Face Diffusers 支持在 Cloud TPU v5e 上用 JAX 加速 Stable Diffusion XL 推理
Hugging Face Diffusers 现已支持在 Cloud TPU v5e 上通过 JAX 运行 Stable Diffusion XL 推理。该方案借助 JAX 的 jit 编译与 XLA 并行能力，在多个 TPU v5e-4 实例上约 4 秒生成四张 1024×1024 图像，其中实际生成时间约 2.3s。
Hugging Face BlogAI 评分2222 如何用 Inference API 部署 AI Comic Factory
Hugging Face 发布教程，介绍如何通过 Inference API 将 AI Comic Factory 复制并部署到自己的私有 Space，以避免官方 Space 的长时间等待。
Hugging Face BlogAI 评分4848 非工程师指南：训练一个 LLaMA 2 聊天机器人
Hugging Face 发布教程，展示非工程师如何零代码训练 LLaMA 2 聊天机器人。流程分三步：用 Spaces 部署 AutoTrain 和 ChatUI 模板，在 AutoTrain 中选用 Meta Llama 2 7b 基础模型、A10G Large GPU 和 Alpaca 指令数据集完成微调，再通过 ChatUI 部署成可分享的聊天应用。
Hugging Face BlogAI 评分2828 Llama 2 在 Amazon SageMaker 上的部署基准测试
Hugging Face 对 Llama 2 在 Amazon SageMaker 上的 60 种部署配置进行了基准测试，覆盖 7B、13B、70B 三种规模，在 g5.2xlarge、g5.12xlarge、g5.48xlarge 和 p4d.24xlarge 实例上测试了 1、5、10、20 并发请求，并对比了 GPTQ 4-bit 量化与未量化性能。
Hugging Face BlogAI 评分4242 Hugging Face 为 PRO 用户推出 Inference for PROs，提供精选模型专属 API
Hugging Face 为 PRO 用户推出 Inference for PROs，提供 Meta Llama 3 Instruct、Mixtral 8x7B Instruct。
Hugging Face BlogAI 评分2020 Rocket Money 如何借助 Hugging Face 在生产环境扩展高波动 ML 模型
Rocket Money 将每月超 1 亿笔交易的商户识别从正则系统迁移到基于 BERT 家族模型的文本分类方案，该模型覆盖 4000+ 类别。经过三个月评估和逐步放量压测后，团队选择 Hugging Face Inference API 托管模型，因其接入快、可动态扩展并保持低延迟。
Hugging Face BlogAI 评分2828 如何在生产环境中优化你的 LLM
Hugging Face 博客总结了生产环境部署 LLM 的三大优化方向：降低数值精度至 8-bit 和 4-bit、采用 Flash Attention 注意力算法，以及 Alibi、Rotary embeddings、MQA、GQA 等架构改进。
Hugging Face BlogAI 评分4040 Hugging Face Transformers 原生支持的量化方案概览
Hugging Face Transformers 目前原生支持 bitsandbytes 和 auto-gptq 两种量化方案，前者无需校准数据即可开箱量化任意含 torch.nn.Linear 的模型，后者在文本生成上更快且支持 2-bit 量化。bitsandbytes 的 4-bit 模型暂不支持序列化，GPTQ 则需校准数据集且目前仅适用于语言模型。
Hugging Face BlogAI 评分1212 Fetch 借助 Amazon SageMaker 与 Hugging Face 将 ML 处理延迟降低 50%
Fetch 在 Amazon SageMaker 上结合 Hugging Face AWS Deep Learning Container 与 Hugging Face Inference Toolkit 优化其 ML 流水线，将最慢扫描的延迟降低 50%，文档理解模型准确率提升 200%。
Hugging Face BlogAI 评分5252 如何让 AudioLDM 2 推理提速 10 倍以上
Hugging Face 博客介绍在 🧨 Diffusers 中使用 AudioLDM 2 的四种优化方法，将 10 秒音频的生成时间从约 14 秒降到不足 1 秒，且音频质量下降很小。
Hugging Face Blog精选AI 评分6262 Hugging Face 将 AutoGPTQ 集成进 Transformers，支持 8/4/3/2-bit 量化
Hugging Face 将 AutoGPTQ 库集成进 Transformers，用户可用 GPTQ 算法以 8、4、3 甚至 2-bit 精度量化和运行大语言模型，4-bit 量化精度损失可忽略，小批量下推理速度与 fp16 基线相当。
推荐理由：原文给出了 GPTQ 在 Transformers 中的集成方式与显存、延迟对比数据，读者可据此判断量化部署的可行边界。
Hugging Face BlogAI 评分5050 Hugging Face 推出企业级代码助手 SafeCoder
Hugging Face 发布面向企业的端到端代码助手 SafeCoder，基于 BigCode 项目的 StarCoder 系列代码大模型，支持客户在自有基础设施上自托管部署，训练与推理全程代码不离开 VPC。
Hugging Face BlogAI 评分2525 Hugging Face Hub 上线 AWS Marketplace，可用 AWS 账户直接付费
Hugging Face Hub 已上线 AWS Marketplace，用户可通过 AWS 账户订阅并支付 Hugging Face 的使用费用。订阅后，Inference Endpoints、Spaces 硬件升级和 AutoTrain 等服务的组织用量费用将直接计入 AWS 账单，价格与 Hugging Face 公开定价一致。
Hugging Face BlogAI 评分2222 用 BentoML 部署 Hugging Face 模型：DeepFloyd IF 实战
Hugging Face 博客演示了如何用开源模型服务框架 BentoML 部署 DeepFloyd IF 文生图模型。DeepFloyd IF 直接在像素空间工作，由冻结的文本编码器 T5-XXL-1.1 和三个级联像素扩散模块组成，可将 64x64 px 基础图逐步放大至 1024x1024 px。
Hugging Face BlogAI 评分3434 如何用 🤗 Transformers 优化 Bark 文本转语音模型
Hugging Face 发布实战教程，演示如何用 Transformers、Optimum 和 Accelerate 三个库优化 Suno AI 的文本转语音模型 Bark。教程基于 suno/bark-small 检查点，通过三项简单优化降低显存占用并提升推理速度，并给出未优化基线的 benchmark 对比：5 次迭代平均执行时间 9.38 秒、最大显存占用 1.91 GB。