在 Intel Gaudi 2 AI 加速器上运行文本生成 Pipeline
Hugging Face 展示了如何用 Optimum Habana 的自定义 pipeline 类在 Intel Gaudi 2 加速器上运行 Llama 2 系列模型（7b、13b、70b）进行文本生成，只需几行代码即可完成端到端推理。
#教程/实践
#教程/实践
今日 4 条Hugging Face BlogAI 评分2222
Hugging Face BlogAI 评分3636 Hugging Face 详解 AI 水印：工具与技术
Hugging Face 发布 AI 水印入门指南，介绍在内容生成时嵌入水印和生成后添加水印两种主要方法，并盘点 Hub 上的相关工具。文中还提及 Glaze、Photoguard、Nightshade、Fawkes 等图像防护工具，以及 Truepic 基于 C2PA 标准的内容签名方案。
Hugging Face BlogAI 评分3434 Hugging Face 详解 Matryoshka 嵌入模型：可截断的多维度嵌入
Hugging Face 发布 Matryoshka 嵌入模型入门指南，这类模型可将嵌入截断到多种维度而性能损失不大，灵感来自俄罗斯套娃。
Hugging Face BlogAI 评分4242 如何在 Hugging Face 上微调 Gemma 模型
Hugging Face 发布教程，介绍如何用 Transformers 和 PEFT 库对 Google DeepMind 的开源模型 Gemma（2B 和 7B 参数）进行 LoRA 微调。
Hugging Face Blog精选AI 评分6262 用开源 LLM 合成数据训练专用模型：省钱、省时、减碳
Hugging Face 博客给出用开源 LLM 生成合成数据、再蒸馏出专用小模型的完整流程，并以金融新闻投资者情绪识别为案例。
推荐理由：用开源 LLM 生成合成数据再蒸馏小模型的完整流程，附可复用 notebook 与成本、延迟、碳排放对比。
Hugging Face BlogAI 评分2222 Hugging Face 上的 PatchTST 时间序列 Transformer 实战
Hugging Face 博客给出 PatchTST 的上手示例，先在 Electricity 数据集上做预测，再用预训练模型对 ETTh1 数据集做零样本预测，随后进行线性探测与微调。PatchTST 由 Yuqi Nie 等人提出、发表于 ICLR 2023，通过将时间序列切分为 patch 作为输入 token，并采用通道独立设计，在保留局部语义的同时二次方降低注意力计算与内存开销。
Hugging Face Blog精选AI 评分6262 Hugging Face 发布开源模型 Constitutional AI 完整配方
Hugging Face 发布了一套用开源模型实现 Constitutional AI 的端到端配方，并开源了 llm-swarm 工具，用于在 Slurm 集群上基于 TGI 和 vLLM 做可扩展的合成数据生成。
推荐理由：Hugging Face 给出用开源模型复现 Constitutional AI 的完整配方，含数据集、模型与 Slurm 集群推理工具，可迁移到自定义对齐流程。
Hugging Face BlogAI 评分3030 在 Intel Xeon 上用 🤗 Optimum Intel 加速 StarCoder：Q8/Q4 量化与推测解码
Hugging Face 在 Intel 第四代 Xeon 上通过 8bit/4bit 量化结合辅助生成，让 StarCoder-15B 推理加速超过 7 倍。
Hugging Face Blog精选AI 评分6262 开源 LLM 作为 LangChain 智能体：ReAct 原理、搭建与基准对比
Hugging Face 发布博客，介绍如何用新集成的 ChatHuggingFace 在 LangChain 中把开源模型搭建成 ReAct 智能体，并给出完整代码示例。
推荐理由：原文给出 ReAct 智能体的完整搭建代码与开源模型对比基准，读者可据此判断哪些模型适合驱动智能体工作流。
Hugging Face BlogAI 评分3434 用 🤗 Transformers 微调 W2V2-BERT 实现低资源 ASR
Hugging Face 发布教程，演示如何用 🤗 Transformers 将 facebook/w2v-bert-2.0 微调至低资源 ASR 任务。
Hugging Face BlogAI 评分3434 用 DPO、IPO 与 KTO 做偏好微调：Hugging Face 的实证对比
Hugging Face 在 OpenHermes-2.5-Mistral-7B 和 Zephyr-7b-beta-sft 两个 7B 模型上，用 MT-Bench 对比了 DPO、IPO、KTO 三种无需强化学习的偏好对齐方法，并扫描 β 等关键超参数。结果显示其中一种方法明显优于其他两种，但需调好关键超参数才能达到最佳效果；相关代码已在 alignment-handbook 开源。
Hugging Face BlogAI 评分3636 用 ONNX Runtime 和 Olive 加速 SD Turbo 与 SDXL Turbo 推理
Hugging Face 发布经 Olive 优化的 SD Turbo 和 SDXL Turbo 模型，在 NVIDIA GPU 上通过 ONNX Runtime CUDA 与 TensorRT 执行提供程序加速推理，吞吐量最高较 PyTorch 提升 229%（SDXL Turbo）和 120%（SD Turbo）。
Hugging Face Blog精选AI 评分6262 如何在 Hugging Face Spaces 上用 Gradio 免费运行 ComfyUI 工作流
Hugging Face 官方博客给出教程，把 ComfyUI 工作流转成 Gradio 应用并部署到 Spaces 的 ZeroGPU 上免费运行。
推荐理由：完整给出从 ComfyUI 工作流导出 Python、包成 Gradio 应用并部署到 ZeroGPU 的步骤，可照着复现。
Hugging Face BlogAI 评分2828 如何用 Hugging Face 排行榜模板搭建自己的 LLM 排行榜：以 Vectara 幻觉排行榜为例
Vectara 基于 Hugging Face 开源的排行榜模板，搭建了全新的 HHEM 幻觉评测排行榜，用于评估 GPT-4、Google Gemini、Meta Llama 2 等 LLM 在文档摘要中的幻觉频率。该排行榜支持动态提交新模型评测请求并自动更新结果，相关源码已公开在其 Hugging Face Space 仓库中。
Hugging Face Blog精选AI 评分6262 Hugging Face 发布 SDXL Dreambooth LoRA 高级训练脚本
Hugging Face 发布新的 diffusers 训练脚本，把 Pivotal Tuning 与 Prodigy 优化器结合，用于 SDXL 的 Dreambooth LoRA 微调。
推荐理由：汇总社区 SDXL Dreambooth LoRA 微调的 SOTA 实践，并给出可直接运行的 diffusers 训练脚本与参数。
Hugging Face Blog精选AI 评分6262 用投机解码让 Whisper 推理提速 2 倍
Hugging Face 博客介绍如何用投机解码将 Whisper 推理速度提升约 2 倍，同时保证输出与单独使用主模型完全一致。
推荐理由：给出 Whisper 投机解码的完整实现与基准数据，读者可据此在现有管线中获得约 2 倍加速且输出不变。
Hugging Face Blog精选AI 评分6262 Hugging Face 详解混合专家模型 MoE
Hugging Face 发布长文《Mixture of Experts Explained》，系统讲解 MoE 的构成、训练与推理取舍。文章指出 MoE 用稀疏层替换部分 FFN 层并配路由网络，预训练更快、推理比同参数量稠密模型更快，但需把全部专家载入显存，例如 Mixtral 8x7B 需容纳 47B 参数。
推荐理由：系统梳理 MoE 的构成、训练与推理取舍，并给出并行与部署的实践要点，适合理解稀疏模型为何省算力却吃显存。
Hugging Face BlogAI 评分5252 Hugging Face 如何让 LoRA 推理提速 300%：告别冷启动
Hugging Face 在 Hub 的 Inference API 中实现 LoRA 动态加载，保持基础模型常驻、按请求即时加载和卸载 LoRA 适配器，把冷启动时间从 25s 降到 3s，用户请求响应时间从 35s 降到 13s。
Hugging Face BlogAI 评分2222 RoBERTa、Llama 2 与 Mistral 7B 灾难推文分类性能对比：基于 LoRA 的微调实践
一项对比实验用 LoRA 微调 RoBERTa-large（355M）、Llama-2-7b 和 Mistral-7B-v0.1 三个模型，在灾难推文二分类任务上评测性能。实验统一设置 MAX_LEN=512，在单张 A6000（48GB）上完成训练，并使用 Weights & Biases 做超参数调优与实验记录。
Hugging Face BlogAI 评分3636 用 AWS Inferentia2 加速 Llama 2 文本生成
Hugging Face 的 optimum-neuron 现已支持在 AWS Inferentia2 上部署 LLM 进行文本生成，并以 Llama 2 作为演示模型。
Hugging Face Blog精选AI 评分6565 Personal Copilot：用 Hugging Face 代码微调自己的编程助手
Hugging Face 博客介绍如何基于 huggingface GitHub 组织公开仓库的代码，微调出名为 HugCoder 的代码补全模型。
推荐理由：完整给出从数据采集到 QLoRA 与全量微调的成本对比，以及本地部署路径，可迁移到自有代码库。
Hugging Face BlogAI 评分4040 用一行代码交互式探索你的 Hugging Face 数据集
Renumics Spotlight 现可直接读取 Hugging Face datasets，只需一行 spotlight.show(ds) 即可交互式可视化数据集。它支持加载模型预测与嵌入向量，通过相似度图、混淆矩阵等定位关键数据簇与模型失败模式，并可在 GUI 或 Python API 中自定义检查布局。
Hugging Face BlogAI 评分3838 用 Hugging Face Inference Endpoints 部署嵌入模型
Hugging Face 发布博客，介绍如何通过 Text Embeddings Inference（TEI）将开源嵌入模型部署到 Hugging Face Inference Endpoints，并支持大规模批量请求。
Hugging Face Blog精选AI 评分6262 Hugging Face 实测 SDXL 推理优化：从 28GB 显存降到 11.5GB
Hugging Face 在 A100 40GB 上实测了 SDXL 的多项推理优化，未优化时显存占用 28GB、延迟 72.2 秒，使用 fp16 后降至 21.7GB 和 14.8 秒。
推荐理由：Hugging Face 官方给出 SDXL 各项推理优化的实测数据，读者可据此按显存和延迟取舍配置。
Hugging Face BlogAI 评分4242 Hugging Face Diffusers 支持在 Cloud TPU v5e 上用 JAX 加速 Stable Diffusion XL 推理
Hugging Face Diffusers 现已支持在 Cloud TPU v5e 上通过 JAX 运行 Stable Diffusion XL 推理。该方案借助 JAX 的 jit 编译与 XLA 并行能力，在多个 TPU v5e-4 实例上约 4 秒生成四张 1024×1024 图像，其中实际生成时间约 2.3s。
Hugging Face BlogAI 评分2222 如何用 Inference API 部署 AI Comic Factory
Hugging Face 发布教程，介绍如何通过 Inference API 将 AI Comic Factory 复制并部署到自己的私有 Space，以避免官方 Space 的长时间等待。
Hugging Face BlogAI 评分5050 用 TRL 的 DDPO 微调 Stable Diffusion 模型
Hugging Face 在 trl 库中集成 DDPOTrainer，可用 DDPO（Denoising Diffusion Policy Optimization）对 Stable Diffusion 做强化学习微调。
Hugging Face BlogAI 评分4848 非工程师指南：训练一个 LLaMA 2 聊天机器人
Hugging Face 发布教程，展示非工程师如何零代码训练 LLaMA 2 聊天机器人。流程分三步：用 Spaces 部署 AutoTrain 和 ChatUI 模板，在 AutoTrain 中选用 Meta Llama 2 7b 基础模型、A10G Large GPU 和 Alpaca 指令数据集完成微调，再通过 ChatUI 部署成可分享的聊天应用。
Hugging Face BlogAI 评分2020 Rocket Money 如何借助 Hugging Face 在生产环境扩展高波动 ML 模型
Rocket Money 将每月超 1 亿笔交易的商户识别从正则系统迁移到基于 BERT 家族模型的文本分类方案，该模型覆盖 4000+ 类别。经过三个月评估和逐步放量压测后，团队选择 Hugging Face Inference API 托管模型，因其接入快、可动态扩展并保持低延迟。
Hugging Face BlogAI 评分2222 Hugging Face 发布 Object Detection Leaderboard：目标检测模型评测与指标解读
Hugging Face 推出 Object Detection Leaderboard，对 Hub 上的目标检测模型按指标排名，并详解 IoU、Average Precision（AP）与 Average Recall（AR）等评测指标的计算方式。文章还分析了不同报告中模型结果出现分歧的原因，帮助开发者按应用需求挑选开源检测模型。
Hugging Face Blog精选AI 评分6262 3D Gaussian Splatting 入门：原理、训练流程与图形学前景
Hugging Face 博客发布 3D Gaussian Splatting 入门介绍，说明这是一种从少量图像学习逼真场景并实时渲染的栅格化技术。文章拆解了完整流程：先用 COLMAP 做 Structure from Motion 估计点云，再把每个点转成高斯并训练，训练中通过可微高斯栅格化计算损失，并按梯度大小自动分裂、克隆或剪枝高斯。
推荐理由：文章把 3D Gaussian Splatting 的流程拆成可理解的步骤，并列出显存、磁盘与渲染管线兼容性等实际限制。
Hugging Face BlogAI 评分2828 如何在生产环境中优化你的 LLM
Hugging Face 博客总结了生产环境部署 LLM 的三大优化方向：降低数值精度至 8-bit 和 4-bit、采用 Flash Attention 注意力算法，以及 Alibi、Rotary embeddings、MQA、GQA 等架构改进。
Hugging Face Blog精选AI 评分6262 用 PyTorch FSDP 微调 Llama 2 70B
Hugging Face 发布教程，介绍如何用 PyTorch FSDP 结合 Transformers、Accelerate 和 TRL 微调 Llama 2 70B，并在 2 节点 16 张 A100 80GB 上完成训练，耗时约 13.5 小时。
推荐理由：原文给出 70B 模型多节点微调的三个具体瓶颈及对应配置改法，可迁移到其他大模型训练场景。
Hugging Face BlogAI 评分4040 Hugging Face Transformers 原生支持的量化方案概览
Hugging Face Transformers 目前原生支持 bitsandbytes 和 auto-gptq 两种量化方案，前者无需校准数据即可开箱量化任意含 torch.nn.Linear 的模型，后者在文本生成上更快且支持 2-bit 量化。bitsandbytes 的 4-bit 模型暂不支持序列化，GPTQ 则需校准数据集且目前仅适用于语言模型。
Hugging Face BlogAI 评分1212 Fetch 借助 Amazon SageMaker 与 Hugging Face 将 ML 处理延迟降低 50%
Fetch 在 Amazon SageMaker 上结合 Hugging Face AWS Deep Learning Container 与 Hugging Face Inference Toolkit 优化其 ML 流水线，将最慢扫描的延迟降低 50%，文档理解模型准确率提升 200%。
Hugging Face BlogAI 评分5252 如何让 AudioLDM 2 推理提速 10 倍以上
Hugging Face 博客介绍在 🧨 Diffusers 中使用 AudioLDM 2 的四种优化方法，将 10 秒音频的生成时间从约 14 秒降到不足 1 秒，且音频质量下降很小。
Hugging Face BlogAI 评分2222 用 BentoML 部署 Hugging Face 模型：DeepFloyd IF 实战
Hugging Face 博客演示了如何用开源模型服务框架 BentoML 部署 DeepFloyd IF 文生图模型。DeepFloyd IF 直接在像素空间工作，由冻结的文本编码器 T5-XXL-1.1 和三个级联像素扩散模块组成，可将 64x64 px 基础图逐步放大至 1024x1024 px。
Hugging Face BlogAI 评分3434 如何用 🤗 Transformers 优化 Bark 文本转语音模型
Hugging Face 发布实战教程，演示如何用 Transformers、Optimum 和 Accelerate 三个库优化 Suno AI 的文本转语音模型 Bark。教程基于 suno/bark-small 检查点，通过三项简单优化降低显存占用并提升推理速度，并给出未优化基线的 benchmark 对比：5 次迭代平均执行时间 9.38 秒、最大显存占用 1.91 GB。
Hugging Face Blog精选AI 评分6262 用 DPO 微调 Llama 2：TRL 库教程与代码
Hugging Face 博客介绍 TRL 库新增的 DPO 训练支持，并演示如何用 QLoRA 在 stack-exchange 偏好数据上微调 Llama v2 7B。
推荐理由：TRL 官方给出 DPO 微调 Llama 2 的完整代码与数据格式，读者可据此在自己的偏好数据上复现。
Hugging Face BlogAI 评分3030 用 Inference Endpoints 快速部署 MusicGen
Hugging Face 发布教程，介绍如何通过 Inference Endpoints 的自定义 handler 部署音乐生成模型 MusicGen。用户需复制 facebook/musicgen-large 仓库，添加 handler.py 和 requirements.txt，即可创建端点，16 GB RAM 实例即可运行。