Hugging Face 推出 HUGS 生成式 AI 服务，零配置部署开源模型
Hugging Face 发布 HUGS（Hugging Face Generative AI Services），一套零配置的优化推理微服务，用于在自有基础设施上部署开源模型。
推荐理由：HUGS 把开源模型的推理部署从数周压缩到分钟级，并给出兼容 OpenAI API 的落地路径与定价。
#开源生态
#开源生态
今日 0 条Hugging Face Blog精选AI 评分6060
Hugging Face BlogAI 评分4040 Hugging Face 与 Protect AI 合作，为 ML 社区提升模型安全
Hugging Face 宣布与 Protect AI 合作，将后者的 Guardian 扫描器集成进 Hub 的扫描套件，所有公开模型仓库在推送文件后会自动被扫描。Guardian 可检测 pickle 任意代码执行及 Keras Lambda 层等漏洞，前端也新增了扫描结果展示。目前已有超过 100 万个模型仓库、数亿个文件被扫描。
Hugging Face Blog精选AI 评分7373 Diffusers 支持 Stable Diffusion 3.5 Large，含 8B 模型与量化推理
Stability AI 发布 Stable Diffusion 3.5，包含 8B 的 Large 模型和 8B 的 timestep-distilled 模型，已在 Hugging Face Hub 上线并可通过 Diffusers 使用。
推荐理由：Diffusers 官方给出 SD3.5 Large 的量化推理与 LoRA 训练路径，可据此判断消费级显卡的可用性。
Hugging Face BlogAI 评分3636 Keras 中的 Llama 3.2：从第一天起就可用
Keras 已支持 Llama 3.2，可直接从 Hugging Face 的 safetensors checkpoint 加载，包括 Llama-3.2-1B-Instruct，无需等待转换，必要时在加载时即时完成。
Hugging Face BlogAI 评分5050 Hugging Face 修复 Transformers 梯度累积损失计算错误
Hugging Face 修复了 Transformers Trainer 中梯度累积的损失计算错误：此前开启梯度累积时，token 级任务（如 causal LM）的损失按各批次损失取平均，而非按全部非 padding token 总数加权，导致与全批量训练结果不一致。
Hugging Face Blog精选AI 评分6060 Gradio 5 正式发布，主打生产级机器学习 Web 应用
Hugging Face 发布 Gradio 5 稳定版，开发者用几行 Python 即可构建生产级机器学习 Web 应用，可通过 pip install --upgrade gradio 升级。
推荐理由：官方列出 Gradio 5 在 SSR 加载、实时流式与安全审计上的具体改动，便于判断是否值得升级。
Hugging Face BlogAI 评分4242 Intel Labs 与 Hugging Face 推出动态推测解码，文本生成最高提速 2.7 倍
Intel Labs 与 Hugging Face 提出动态推测解码方法，根据助手模型每次预测的置信度动态调整推测前瞻长度，文本生成最高提速 2.7 倍。该方法自 Transformers 4.45.0 起成为辅助生成的默认模式，在 Llama3.1-8B 搭配 Llama3.2-1B 等测试中均优于启发式方法，后者在 codegen-6B-mono 上甚至出现减速。
Hugging Face BlogAI 评分3030 中国 AI 出海扩张简析：751 家 AI 公司中 103 家已走向海外
非凡研究 6 月报告显示，全球 1500 家活跃 AI 公司中有 751 家位于中国，其中 103 家已在拓展海外市场。华为、腾讯、阿里聚焦云计算与 AI 基础设施，字节跳动七个月内推出 11 款海外应用，CapCut 月活超 3 亿、截至 2024 年 7 月累计移动端收入 1.25 亿美元。
Hugging Face BlogAI 评分2222 BenCzechMark：你的 LLM 能理解捷克语吗？
Hugging Face 发布 BenCzechMark，首个面向捷克语的大语言模型综合评测套件，涵盖 9 大类共 50 项任务，其中 90% 为原生非翻译内容。配套榜单已收录超过 25 个不同规模的开源模型，任务采用 Acc、EM、AUROC、Ppl 等指标，并手工设计至少 5 组提示词以记录最佳表现与方差。
Hugging Face Blog精选AI 评分8282 Llama 3.2 发布：多模态与端侧小模型上线 Hugging Face
Meta 发布 Llama 3.2，共 10 个开放权重模型，包括 5 个多模态模型和 5 个纯文本模型，均已上线 Hugging Face。多模态的 Llama 3.2 Vision 提供 11B 和 90B 两个尺寸，另有可在设备端运行的 1B 和 3B 文本模型，支持 128k 上下文和 8 种语言。
推荐理由：Hugging Face 与 Meta 合作发布 Llama 3.2，给出多模态与端侧小模型的能力、许可限制和上手方式。
Hugging Face BlogAI 评分2222 Hugging Face Daily Papers 页面功能全解析
Hugging Face 的 Daily Papers 页面已收录超 3,700 篇论文、订阅者超 12k，作者可一键认领论文并关联到自己的账号。用户还能提交论文、在评论区与作者直接对话，并用 @librarian-bot 获取相似论文推荐。页面支持多语言评论与翻译，并可将论文关联的模型、数据集和 demo 集中展示。
Hugging Face BlogAI 评分2828 用 Optimum-Intel 和 OpenVINO GenAI 优化并部署 Transformers 模型
Hugging Face 与 Intel 合作的 Optimum-Intel 支持将 Transformers 模型导出为 OpenVINO IR，并通过 OpenVINO GenAI 的 LLMPipeline 在 C++ 或 Python 中部署。
Mistral AI精选AI 评分7171 Mistral 发布免费额度、全线降价与 Mistral Small v24.09
Mistral 宣布 la Plateforme 推出免费额度，并对全线模型降价，其中 Mistral Small 和 Codestral 输入输出价格均下调 80%，Mistral Large 下调 33%。
推荐理由：Mistral 一次性公布免费额度、全线降价和新版小模型，可据此判断其 API 成本与部署选择。
Mistral AI精选AI 评分7373 Mistral AI 发布 Pixtral 12B 多模态模型
Mistral AI 发布 Pixtral 12B，一个原生多模态模型，采用从零训练的 400M 参数视觉编码器和基于 Mistral Nemo 的 12B 多模态解码器，支持可变图像尺寸与宽高比，128k token 上下文窗口内可处理任意数量图片。
推荐理由：官方给出架构、评测口径与本地部署方式，可据此判断这一 12B 多模态模型在开源阵营中的位置。
Hugging Face Blog精选AI 评分6060 HuggingChat 推出 Community Tools，可将任意 Space 变成工具
HuggingChat 发布 Community Tools，用户可把 Hugging Face 上任意公开 Space 转成模型可直接调用的工具，并借此扩展了图像理解、视频生成和文本转语音等多模态能力。
推荐理由：HuggingChat 把任意 Space 变成可调用工具，读者可据此判断多模态与自定义工具如何接入对话流程。
Hugging Face BlogAI 评分3434 Hugging Face 用视频编码扩展机器人数据集
Hugging Face 的 LeRobot 项目提出 LeRobotDataset 格式，用视频编码存储机器人数据集的视觉模态，平均体积降至原始版本的 14%，最佳情况可达 0.2%，同时保持完整训练能力。解码单帧耗时与压缩图像相当，连续多帧解码仅为压缩图像的 25%-50%，并原生集成 Hub 与可视化工具。
Hugging Face BlogAI 评分3434 Hugging Face 上 5 个最被低估的工具
Hugging Face Hub 拥有超 85 万公开模型、每月新增约 5 万个，但 ZeroGPU、多进程 Docker、Gradio API、Webhooks 和 Nomic Atlas 这 5 项工具常被忽视。
Hugging Face BlogAI 评分5252 Hugging Face 用 Flash Attention 2 打包训练提升效率
Hugging Face 在 Transformers 中推出 DataCollatorWithFlattening，使免 padding 的指令微调打包与 Flash Attention 2 兼容，训练吞吐最高提升 2 倍且收敛质量不变。
Hugging Face BlogAI 评分2828 ggml 入门指南：面向 Transformer 推理的 C/C++ 机器学习库
Hugging Face 发布 ggml 入门指南，介绍这个用 C/C++ 编写、专注 Transformer 推理的开源机器学习库。
Hugging Face Blog精选AI 评分6262 TII 发布 Falcon Mamba：首个强性能无注意力 7B 模型
阿布扎比 TII 发布 Falcon Mamba 7B，采用纯 Mamba 架构并加入额外 RMS 归一化层以保证大规模训练稳定，模型以 TII Falcon Mamba 7B License 1.0 开放，可在 Hugging Face 生态中使用。
推荐理由：TII 发布首个纯 Mamba 架构的 7B 开源模型，读者可据此了解无注意力架构在长序列上的取舍。
Hugging Face Blog精选AI 评分6565 Hugging Face 推出统一工具调用 API，覆盖 Mistral、Cohere、Llama 等模型
Hugging Face 在 Transformers 中推出统一的工具调用 API，同一套代码可在 Mistral、Cohere、NousResearch 和 Llama 等模型家族间通用，无需或只需极少模型专属改动。
推荐理由：Hugging Face 把工具调用统一进 chat template，读者可据此判断跨模型复用同一套代码的可行边界。
Hugging Face Blog精选AI 评分6262 Hugging Face 收购 XetHub，将用其技术替换 Hub 的 Git LFS 存储后端
Hugging Face 宣布收购西雅图公司 XetHub，其创始团队此前在 Apple 构建并扩展内部 ML 基础设施，XetHub 的技术可让 Git 扩展到 TB 级仓库。
推荐理由：Hugging Face 收购 XetHub 并计划替换 Hub 的 Git LFS 存储后端，读者可了解大文件版本管理将如何变化。
Hugging Face BlogAI 评分2222 Hugging Face 2024 年安全功能盘点
Hugging Face 梳理了截至 2024 年 8 月 6 日 Hub 上的安全功能：面向所有用户的细粒度 token、2FA、GPG commit signing、组织访问控制，以及基于 ClamAV、picklescan、trufflehog 的自动化恶意软件、pickle 与密钥扫描。
Hugging Face Blog精选AI 评分8888 Llama 3.1 发布：405B、70B 与 8B，支持多语言和长上下文
Meta 发布 Llama 3.1，包含 8B、70B、405B 三个尺寸的 base 与 instruct 版本共六个开放权重模型，全部支持 128K token 上下文和 8 种语言，并新增 Llama Guard 3 与 Prompt Guard 两个安全模型。
推荐理由：Hugging Face 官方给出 Llama 3.1 三个尺寸的显存需求、量化方案与工具调用格式，便于评估部署成本。
Hugging Face Blog精选AI 评分6060 WWDC 24：用 Core ML 在 Mac 上运行 Mistral 7B
Hugging Face 发布教程，介绍如何借助 WWDC 24 的新 Core ML 特性在 Mac 上运行 Mistral 7B，并用不到 4GB 内存完成推理。
推荐理由：Hugging Face 团队给出把 Mistral 7B 转成 Core ML 并跑在 Mac 上的完整步骤，可据此复现端侧 LLM 部署流程。
Mistral AI精选AI 评分7777 Mistral 与 NVIDIA 联合发布 12B 模型 Mistral NeMo
Mistral AI 与 NVIDIA 合作发布 12B 模型 Mistral NeMo，支持最高 128k token 上下文窗口，预训练基座与指令微调 checkpoint 均以 Apache 2.0 许可开源。
推荐理由：Mistral 与 NVIDIA 合作的 12B 模型以 Apache 2.0 开源，128k 上下文和 FP8 推理对部署选型有直接参考。
Hugging Face Blog精选AI 评分6262 Hugging Face TGI 推出 Multi-LoRA 服务：一次部署可服务 30 个模型
Hugging Face 为 TGI 推出 Multi-LoRA 服务，只需部署一次基础模型，即可根据请求中的 adapter_id 动态选择对应的 LoRA 适配器，官方称可服务 30 个模型。
推荐理由：原文给出 TGI Multi-LoRA 的部署方式与成本对比，读者可据此判断多微调模型能否合并到一次部署。
Hugging Face BlogAI 评分3838 Hugging Face 发布 Docmatix：超大规模文档视觉问答数据集
Hugging Face 发布 Docmatix，一个包含 240 万张图像、950 万问答对（源自 130 万份 PDF）的文档视觉问答数据集，规模是此前数据集的 240 倍。
Mistral AI精选AI 评分7171 Mistral 发布 Codestral Mamba 代码模型
Mistral AI 发布 Codestral Mamba，这是继 Mixtral 系列之后对 Mamba 架构的又一次探索，采用 Apache 2.0 许可，可自由使用、修改和分发。
推荐理由：Mistral 发布基于 Mamba 架构的代码模型，给出参数规模、256k 检索测试与多种部署方式，可据此判断非 Transformer 架构在代码场景的可用性。
Hugging Face BlogAI 评分2222 如何用 distilabel 打造 Argilla 2.0 聊天机器人
Hugging Face 博客展示了如何用 distilabel 生成合成数据、微调领域专用嵌入模型，并为 Argilla 2.0 构建能理解技术文档的聊天机器人。流程包括将文档按约 256 token 分块、构建向量数据库，并将 Gradio 应用部署到 Hugging Face Space，交互记录存入 Argilla 用于持续评估改进。
Hugging Face Blog精选AI 评分6262 NuminaMath 如何赢得首届 AIMO 进步奖
Numina 与 Hugging Face 合作的 NuminaMath 7B TIR 赢得首届 AIMO 进步奖，在私有测试集 50 题中解出 29 题。方案基于 DeepSeekMath-Base 7B 做两阶段全量微调，先学自然语言链式推理，再学工具集成推理，配合 SC-TIR 解码生成 N=48、深度 M=4 的候选并多数投票。
推荐理由：获胜方案完整公开了两阶段微调、SC-TIR 解码与内部验证集设计，可迁移到其他推理任务。
Hugging Face BlogAI 评分4242 Hugging Face 与 KerasHub 宣布集成：可直接加载 Transformers 模型
Hugging Face 与 KerasHub 宣布共享模型保存格式，Hugging Face Hub 上 30 万+ Transformers 模型现可直接加载进 KerasHub。首批支持 Gemma 1/2、Llama 3 和 PaliGemma，模型可在 TensorFlow、JAX、PyTorch 后端间一行代码切换。需升级 keras-hub 及 keras>=3.3.3。
Hugging Face BlogAI 评分3636 Hugging Face TRL 库新增 VLM 直接偏好优化（DPO）支持
Hugging Face 的 TRL 库现已支持视觉语言模型（VLM）的直接偏好优化（DPO），并给出完整训练教程。示例使用 Idefics2-8b 模型和 openbmb/RLAIF-V-Dataset（含超 83,000 条标注数据），TRL 的 DPO 实现同时支持 Llava 1.5 和 PaliGemma。
Hugging Face BlogAI 评分4242 Google Cloud TPU 上线 Hugging Face Inference Endpoints 和 Spaces
Hugging Face 用户现可在 Inference Endpoints 和 Spaces 上使用 Google Cloud TPU v5e，提供 v5litepod-1（1 核 16 GB，$1.375/小时）、v5litepod-4（4 核 64 GB，$5.50/小时）和 v5litepod-8（8 核 128 GB，$11.00/小时）三种配置。
Hugging Face BlogAI 评分2222 Banque des Territoires x Polyconseil x Hugging Face：用主权数据方案升级法国校园环保项目 EduRénov
Banque des Territoires（CDC 集团）、Polyconseil 与 Hugging Face 合作，为法国校园环保改造项目 EduRénov 构建基于 RAG 的主权数据方案，第一阶段已完成。
Hugging Face BlogAI 评分2222 Hugging Face Dataset Hub 新增四项数据集搜索功能：按模态、大小、格式和库筛选
Hugging Face 为 Dataset Hub 的数据集搜索新增四项筛选功能：按模态（文本、图像、音频、表格、时间序列、3D、视频、地理空间）、按行数大小、按格式（如 Parquet、WebDataset）以及按兼容库（如 Pandas、Dask、Datasets）搜索。
Hugging Face Blog精选AI 评分6262 Hugging Face 的 Transformers Code Agent 登顶 GAIA 基准
Hugging Face 用基于 transformers.agents 构建的 ReactCodeAgent 在 GAIA 基准验证集上取得 44.2%，排名第一，比第二名高 4 个百分点；测试集得分 33.3%，排名第二，并在 Level 3 难题上取得最佳平均分。
推荐理由：Hugging Face 公开了用 Code Agent 登顶 GAIA 的完整实现细节，包括工具设计、安全解释器与规划策略，可迁移到自建智能体系统。
Hugging Face Blog精选AI 评分7878 Google 发布开源大模型 Gemma 2，含 9B 与 27B 两个版本
Google 发布开源大模型 Gemma 2，提供 9B 和 27B 两个规模，各有基础版与指令微调版，上下文长度 8K tokens，采用允许商用和再分发的宽松许可。
推荐理由：文章梳理了 Gemma 2 的滑动窗口注意力、软上限与蒸馏等训练改动，并给出与 Llama 3、Qwen 1.5 的基准对比。
Hugging Face BlogAI 评分2222 Hugging Face 与 Argilla 回顾 Data Is Better Together 计划并公布后续方向
Hugging Face 与 Argilla 合作的 Data Is Better Together 计划已产出 DIBT/10k_prompts_ranked 数据集，由 385 多人参与完成 1 万条合成与人工提示词的质量排序，并被用于训练 SPIN 等新模型。
Hugging Face BlogAI 评分3636 Hugging Face Accelerate 如何统一 DeepSpeed 与 FSDP 的混合精度训练
Hugging Face Accelerate 在 0.30.0 版本中为 FSDP 加入自动 upcasting，使其在混合精度下与 DeepSpeed 行为对齐。