Hugging Face 与 Albumentations AI 推出面向文档图像的 TextImage 数据增强
Hugging Face 与 Albumentations AI 合作推出 TextImage 数据增强流程，可同时修改文档图像及其文本标注，用于视觉语言模型（VLM）微调。该流程支持随机插入、删除、交换和停用词替换等文本增强，并配合图像黑化与修复，保持文本质量。初始版本中的同义词替换因耗时过高已被移除。
#教程/实践
#教程/实践
今日 5 条Hugging Face BlogAI 评分2828
Hugging Face BlogAI 评分3636 用 Quanto 和 Diffusers 实现内存高效的 Diffusion Transformer
Hugging Face 展示如何借助 Diffusers 库中的 Quanto 量化工具降低 Transformer 扩散模型的内存占用。以 PixArt-Sigma、Stable Diffusion 3 和 Aura Flow 为例，将扩散主干与文本编码器量化至 FP8 后，SD3 推理显存从 16.403 GB 降至约 8.2 GB，质量几乎无损、延迟仅小幅上升。
Hugging Face Blog精选AI 评分6060 WWDC 24：用 Core ML 在 Mac 上运行 Mistral 7B
Hugging Face 发布教程，介绍如何借助 WWDC 24 的新 Core ML 特性在 Mac 上运行 Mistral 7B，并用不到 4GB 内存完成推理。
推荐理由：Hugging Face 团队给出把 Mistral 7B 转成 Core ML 并跑在 Mac 上的完整步骤，可据此复现端侧 LLM 部署流程。
Hugging Face BlogAI 评分2222 如何用 distilabel 打造 Argilla 2.0 聊天机器人
Hugging Face 博客展示了如何用 distilabel 生成合成数据、微调领域专用嵌入模型，并为 Argilla 2.0 构建能理解技术文档的聊天机器人。流程包括将文档按约 256 token 分块、构建向量数据库，并将 Gradio 应用部署到 Hugging Face Space，交互记录存入 Argilla 用于持续评估改进。
Hugging Face Blog精选AI 评分6262 NuminaMath 如何赢得首届 AIMO 进步奖
Numina 与 Hugging Face 合作的 NuminaMath 7B TIR 赢得首届 AIMO 进步奖，在私有测试集 50 题中解出 29 题。方案基于 DeepSeekMath-Base 7B 做两阶段全量微调，先学自然语言链式推理，再学工具集成推理，配合 SC-TIR 解码生成 N=48、深度 M=4 的候选并多数投票。
推荐理由：获胜方案完整公开了两阶段微调、SC-TIR 解码与内部验证集设计，可迁移到其他推理任务。
Hugging Face BlogAI 评分3636 Hugging Face TRL 库新增 VLM 直接偏好优化（DPO）支持
Hugging Face 的 TRL 库现已支持视觉语言模型（VLM）的直接偏好优化（DPO），并给出完整训练教程。示例使用 Idefics2-8b 模型和 openbmb/RLAIF-V-Dataset（含超 83,000 条标注数据），TRL 的 DPO 实现同时支持 Llava 1.5 和 PaliGemma。
Hugging Face BlogAI 评分2222 在 Intel Gaudi 2 上加速蛋白质语言模型 ProtST
Intel 与 MILA 将多模态蛋白质设计语言模型 ProtST 重新架构并发布在 Hugging Face Hub，可用 Optimum for Intel Gaudi 库在 Gaudi 2 上运行推理与微调。
Hugging Face BlogAI 评分3838 微调 Florence-2：微软的前沿视觉语言模型
Hugging Face 博客展示了如何微调微软 6 月发布的 Florence-2 视觉语言模型，使其具备 DocVQA 视觉问答能力。该模型有 0.2B 和 0.7B 两个小尺寸版本，原生支持 captioning、目标检测、OCR 等任务，但发布的模型不含 VQA 能力。
Hugging Face BlogAI 评分3636 Hugging Face Accelerate 如何统一 DeepSpeed 与 FSDP 的混合精度训练
Hugging Face Accelerate 在 0.30.0 版本中为 FSDP 加入自动 upcasting，使其在混合精度下与 DeepSpeed 行为对齐。
Hugging Face BlogAI 评分1515 Hugging Face 将重新设计 Transformers 文档
Hugging Face 宣布将重新设计 Transformers 文档，以解决内容割裂、导航困难和过时的问题。新文档将面向构建 AI 产品的开发者，采用代码优先、解决方案导向的方式，并用灵活结构替代 Diátaxis 的刚性框架，让内容自然生长与整合。
Hugging Face BlogAI 评分2222 Hugging Face 为 Intel Gaudi 提供更快的 assisted generation 支持
Hugging Face 将 assisted generation（基于 Speculative Sampling 的加速解码方法）适配并优化到 Intel Gaudi，现已集成进 Optimum Habana。该方法用草稿模型生成 K 个 token 再由目标模型评估，对大 Transformer 模型通常可带来约 2x 加速，且采样质量与自回归采样相当。
Hugging Face BlogAI 评分3434 Hugging Face 如何用 TGI Benchmarking 工具评测文本生成推理
Hugging Face 发布博客介绍 Text Generation Inference（TGI）配套的 TGI Benchmarking 工具，可在 Hugging Face Space 中部署模型并通过 CLI 运行，同时测量吞吐量与延迟。该工具提供 pre-fill 统计与直方图、吞吐量对延迟散点图，并按 batch size 展示结果，帮助用户在 TTFT 与吞吐之间权衡调优部署。
Hugging Face BlogAI 评分3636 如何用 Sentence Transformers 训练和微调嵌入模型
Hugging Face 发布博客，介绍如何用 Python 库 Sentence Transformers 微调嵌入模型以提升特定任务表现，也可从零训练新模型。
Hugging Face BlogAI 评分2222 用 Intel Gaudi 2 和 Intel Xeon 构建高性价比企业级 RAG 应用
Intel 展示了基于 OPEA 平台、用 Intel Gaudi 2 加速器和 Xeon CPU 构建企业级 RAG 应用的方案，嵌入模型跑在 Granite Rapids CPU 上，LLM 跑在 Gaudi 2 上。
Hugging Face BlogAI 评分4242 Hugging Face Inference Endpoints 实现 Whisper ASR + 说话人分离 + 推测解码
Hugging Face 通过自定义 inference handler，在 Inference Endpoints 上将 Whisper 的 ASR、基于 Pyannote 的说话人分离（diarization）与推测解码整合到单一 API 端点。
Hugging Face BlogAI 评分3838 Hugging Face 与 .txt 用结构化生成提升提示词一致性
Hugging Face 的 Leaderboards and Evals 团队发现，同一任务下仅改变提示词格式，模型得分波动可达约 10 分，Qwen1.5-7B 在两种格式下准确率分别为 22.9% 和 51.2%，且模型排名也会随格式变化。
Hugging Face BlogAI 评分2222 Gradio 如何用 Reload Mode 快速构建 AI 应用
Gradio 推出 reload mode，用 `gradio app.py` 替代 `python app.py` 启动应用，即可在不重启服务器的情况下拉取源码最新改动。
Hugging Face BlogAI 评分3434 在 Hugging Face Endpoints 上运行隐私保护推理
Zama 团队将基于全同态加密（FHE）的 Concrete ML 预编译模型部署到 Hugging Face Endpoints，用户可通过自定义 inference handler 一键部署并运行加密推理。
Hugging Face BlogAI 评分5252 视觉语言模型解析：从原理、选型到用 TRL 微调
Hugging Face 发布视觉语言模型入门文章，介绍其图像编码器、嵌入投影与文本解码器的常见结构，并盘点 LLaVA 1.6、DeepSeek-VL、CogVLM、Qwen-VL 等开源模型。
Hugging Face BlogAI 评分3232 用 Hugging Face Dataset Viewer API 和 MotherDuck DuckDB-NSQL-7B 实现 Text2SQL
MotherDuck 与 Numbers Station 推出 DuckDB-NSQL-7B，一个专为 DuckDB SQL 打造的大语言模型，基于 Meta Llama-2-7b 微调并进一步用 DuckDB text-to-SQL 数据对精调，可生成包括官方文档和扩展在内的多种有效 DuckDB SQL 语句。
Hugging Face BlogAI 评分3636 在 Intel Xeon 上用 🤗 Optimum Intel 实现极速 SetFit 推理
借助 🤗 Optimum Intel 对 SetFit 模型做训练后静态量化（PTQ），可在 Intel Xeon CPU 上把推理速度提升 7.8 倍，实现生产级部署。该量化基于 Intel Neural Compressor，只需约 100 条无标注校准样本、无需训练，即可在保持精度的同时降低内存占用与延迟，Optimum Intel 版本需不低于 1.14.0。
Hugging Face Blog精选AI 评分6262 Hugging Face 发布二值与标量嵌入量化方法，检索提速最高 45 倍
Hugging Face 博客介绍嵌入量化方法，将 float32 嵌入转为二值或 int8，内存与磁盘占用分别缩小 32 倍和 4 倍。在 MTEB 检索的 15 个基准上，二值量化配合重排序可保留约 96% 的默认性能，检索速度平均提升 24.76 倍，int8 平均提升 3.66 倍。
推荐理由：Hugging Face 官方给出嵌入量化在检索速度、内存与成本上的实测对比，并附可复用脚本。
Hugging Face BlogAI 评分2020 Hugging Face Transformers 完全新手入门指南
Hugging Face 发布面向非技术读者的 Transformers 入门指南，从零讲解这一开源 Python 库如何调用数千个预训练 Transformer 模型，并区分了 Hub 与 Spaces 的用途。
Hugging Face Blog精选AI 评分6262 Hugging Face 博客介绍 GaLore：在消费级硬件上训练大模型
Hugging Face 博客介绍 GaLore 优化器，通过将梯度投影到低秩子空间，可把优化器状态显存占用降低 82.5% 以上，从而在 NVIDIA RTX 4090 等消费级 GPU 上训练最高 70 亿参数的 Llama 架构模型。
推荐理由：原文给出 GaLore 与 8-bit 优化器结合的训练流程和可运行代码，读者可据此在消费级显卡上复现大模型训练。
Hugging Face BlogAI 评分3636 在 Intel Meteor Lake 笔记本上运行 Phi-2：基于 OpenVINO 的 4-bit 量化实践
Hugging Face 与 Intel 合作，通过 Optimum Intel 中的 OpenVINO 集成对微软 Phi-2 模型权重做 4-bit 量化，并在搭载 Core Ultra 7 155H 的中端笔记本上完成本地推理。
Hugging Face BlogAI 评分3636 Hugging Face 用 Optimum Intel 与 fastRAG 在 CPU 上优化嵌入模型
Hugging Face 发布教程，展示如何用 Optimum Intel 与 fastRAG 在基于 Xeon 的 CPU 上加速嵌入模型并接入现有 RAG 流程。
Hugging Face BlogAI 评分2222 在 Intel Gaudi 2 AI 加速器上运行文本生成 Pipeline
Hugging Face 展示了如何用 Optimum Habana 的自定义 pipeline 类在 Intel Gaudi 2 加速器上运行 Llama 2 系列模型（7b、13b、70b）进行文本生成，只需几行代码即可完成端到端推理。
Hugging Face BlogAI 评分3636 Hugging Face 详解 AI 水印：工具与技术
Hugging Face 发布 AI 水印入门指南，介绍在内容生成时嵌入水印和生成后添加水印两种主要方法，并盘点 Hub 上的相关工具。文中还提及 Glaze、Photoguard、Nightshade、Fawkes 等图像防护工具，以及 Truepic 基于 C2PA 标准的内容签名方案。
Hugging Face BlogAI 评分3434 Hugging Face 详解 Matryoshka 嵌入模型：可截断的多维度嵌入
Hugging Face 发布 Matryoshka 嵌入模型入门指南，这类模型可将嵌入截断到多种维度而性能损失不大，灵感来自俄罗斯套娃。
Hugging Face BlogAI 评分4242 如何在 Hugging Face 上微调 Gemma 模型
Hugging Face 发布教程，介绍如何用 Transformers 和 PEFT 库对 Google DeepMind 的开源模型 Gemma（2B 和 7B 参数）进行 LoRA 微调。
Hugging Face Blog精选AI 评分6262 用开源 LLM 合成数据训练专用模型：省钱、省时、减碳
Hugging Face 博客给出用开源 LLM 生成合成数据、再蒸馏出专用小模型的完整流程，并以金融新闻投资者情绪识别为案例。
推荐理由：用开源 LLM 生成合成数据再蒸馏小模型的完整流程，附可复用 notebook 与成本、延迟、碳排放对比。
Hugging Face BlogAI 评分2222 Hugging Face 上的 PatchTST 时间序列 Transformer 实战
Hugging Face 博客给出 PatchTST 的上手示例，先在 Electricity 数据集上做预测，再用预训练模型对 ETTh1 数据集做零样本预测，随后进行线性探测与微调。PatchTST 由 Yuqi Nie 等人提出、发表于 ICLR 2023，通过将时间序列切分为 patch 作为输入 token，并采用通道独立设计，在保留局部语义的同时二次方降低注意力计算与内存开销。
Hugging Face Blog精选AI 评分6262 Hugging Face 发布开源模型 Constitutional AI 完整配方
Hugging Face 发布了一套用开源模型实现 Constitutional AI 的端到端配方，并开源了 llm-swarm 工具，用于在 Slurm 集群上基于 TGI 和 vLLM 做可扩展的合成数据生成。
推荐理由：Hugging Face 给出用开源模型复现 Constitutional AI 的完整配方，含数据集、模型与 Slurm 集群推理工具，可迁移到自定义对齐流程。
Hugging Face BlogAI 评分3030 在 Intel Xeon 上用 🤗 Optimum Intel 加速 StarCoder：Q8/Q4 量化与推测解码
Hugging Face 在 Intel 第四代 Xeon 上通过 8bit/4bit 量化结合辅助生成，让 StarCoder-15B 推理加速超过 7 倍。
Hugging Face Blog精选AI 评分6262 开源 LLM 作为 LangChain 智能体：ReAct 原理、搭建与基准对比
Hugging Face 发布博客，介绍如何用新集成的 ChatHuggingFace 在 LangChain 中把开源模型搭建成 ReAct 智能体，并给出完整代码示例。
推荐理由：原文给出 ReAct 智能体的完整搭建代码与开源模型对比基准，读者可据此判断哪些模型适合驱动智能体工作流。
Hugging Face BlogAI 评分3434 用 🤗 Transformers 微调 W2V2-BERT 实现低资源 ASR
Hugging Face 发布教程，演示如何用 🤗 Transformers 将 facebook/w2v-bert-2.0 微调至低资源 ASR 任务。
Hugging Face BlogAI 评分3434 用 DPO、IPO 与 KTO 做偏好微调：Hugging Face 的实证对比
Hugging Face 在 OpenHermes-2.5-Mistral-7B 和 Zephyr-7b-beta-sft 两个 7B 模型上，用 MT-Bench 对比了 DPO、IPO、KTO 三种无需强化学习的偏好对齐方法，并扫描 β 等关键超参数。结果显示其中一种方法明显优于其他两种，但需调好关键超参数才能达到最佳效果；相关代码已在 alignment-handbook 开源。
Hugging Face BlogAI 评分3636 用 ONNX Runtime 和 Olive 加速 SD Turbo 与 SDXL Turbo 推理
Hugging Face 发布经 Olive 优化的 SD Turbo 和 SDXL Turbo 模型，在 NVIDIA GPU 上通过 ONNX Runtime CUDA 与 TensorRT 执行提供程序加速推理，吞吐量最高较 PyTorch 提升 229%（SDXL Turbo）和 120%（SD Turbo）。
Hugging Face Blog精选AI 评分6262 如何在 Hugging Face Spaces 上用 Gradio 免费运行 ComfyUI 工作流
Hugging Face 官方博客给出教程，把 ComfyUI 工作流转成 Gradio 应用并部署到 Spaces 的 ZeroGPU 上免费运行。
推荐理由：完整给出从 ComfyUI 工作流导出 Python、包成 Gradio 应用并部署到 ZeroGPU 的步骤，可照着复现。
Hugging Face BlogAI 评分2828 如何用 Hugging Face 排行榜模板搭建自己的 LLM 排行榜：以 Vectara 幻觉排行榜为例
Vectara 基于 Hugging Face 开源的排行榜模板，搭建了全新的 HHEM 幻觉评测排行榜，用于评估 GPT-4、Google Gemini、Meta Llama 2 等 LLM 在文档摘要中的幻觉频率。该排行榜支持动态提交新模型评测请求并自动更新结果，相关源码已公开在其 Hugging Face Space 仓库中。