Hugging Face 与 AMD 为 MI300X 打造自定义 kernel，优化 Llama 3.1 405B FP8 推理
Hugging Face 与 AMD 合作，为 MI300X GPU 编写了三个开源自定义 kernel——融合残差连接/RMS norm/FP8 转换、融合 SwiGLU 激活/FP8 转换以及 Skinny GEMM，用于在 8 卡 MI300X 节点上通过 VLLM 加速 Llama 3.1 405B 的 FP8 推理。
全部AI 动态
全部动态
今日 4 条Hugging Face BlogAI 评分3636
Hugging Face BlogAI 评分3636 Hugging Face 详解高效多模态数据管道：从朴素填充到背包算法
Hugging Face 以 nanoVLM 项目为例，分五个阶段构建高效多模态数据管道，解决 GPU 空转与填充浪费问题。朴素填充阶段约 60% 的 batch 被无用 padding token 占据，随后依次采用受限填充、背包算法打包，并推出支持贪心与 binpack 策略的 ConstantLengthDataset，按 token 与图像数量打包样本。
Hugging Face BlogAI 评分1818 Hugging Face 生产基础设施背后的三大关键告警
Hugging Face 基础设施团队公开了支撑其生产环境的三大关键告警机制，包括 NAT 网关吞吐量告警和 Hub 请求日志归档成功率告警。NAT 网关告警在流量超过预设静态阈值时触发，用于发现异常流量峰值并优化成本；日志归档链路则通过 Filebeat、Logstash 与 Elasticsearch 完成日志的采集、加工与存储。
Hugging Face BlogAI 评分3434 用 Sentence Transformers 训练与微调稀疏嵌入模型
Sentence Transformers 现已支持训练和微调稀疏嵌入模型，可产出如 sparse-encoder/example-inference-free-splade-distilbert-base-uncased-nq 这类低成本模型，适合混合检索或先检索后重排场景。
Hugging Face Blog精选AI 评分6262 在消费级硬件上用 QLoRA 微调 FLUX.1-dev
Hugging Face 发布教程，介绍用 QLoRA 和 diffusers 库在单张 GPU 上微调 FLUX.1-dev，峰值显存约 10GB 以内。在 RTX 4090 上，QLoRA 微调峰值显存约 9GB，而 BF16 LoRA 需 26GB，700 步训练约 41 分钟。
推荐理由：给出在单张消费级 GPU 上微调 FLUX.1-dev 的完整配置与显存对比，方法可直接复用。
Hugging Face BlogAI 评分3636 长提示词如何阻塞其他请求：优化 LLM 性能
TNG 在 24 块 H100 上自托管多个大语言模型，每日消耗超 1 亿 token、生成超 1000 万 token，发现 vLLM 默认 chunked-prefill 会顺序调度不同请求的 prefill，单个长提示词请求会阻塞后续请求，导致首 token 等待时间变长。
Hugging Face BlogAI 评分5858 5 分钟上手 Hugging Face Kernel Hub
Hugging Face 发布 Kernel Hub，让 Python 库和应用通过 kernels 库的 get_kernel 直接从 Hub 加载预编译的优化计算 kernel，无需本地编译。
Hugging Face Blog精选AI 评分6262 如何用 LeRobot SO-101 机械臂后训练 Isaac GR00T N1.5
NVIDIA 发布 Isaac GR00T N1.5，这是 Isaac GR00T N1 的首次重大更新，可通过后训练适配特定本体、任务和环境。
推荐理由：原文给出从数据准备到真机部署的完整命令，读者可据此在低成本 SO-101 机械臂上复现微调流程。
Hugging Face BlogAI 评分2222 nanoVLM 从零实现 KV Cache，生成速度提升 38%
Hugging Face 的 nanoVLM 仓库从零实现了 KV Cache，使自回归生成速度提升 38%。该实现覆盖 Attention 块的缓存更新、语言模型逐层缓存管理，以及区分 prefill 与逐 token 解码的生成循环。相关经验可推广到所有自回归语言模型的生成优化。
Hugging Face BlogAI 评分2929 Arm CPU 上实时 AI 音效生成：基于 Stable Audio Open 的个人创作工具
Arm 工程师 Michael Gamble 用 Stable Audio Open 模型、PyTorch 和 TorchAudio 打造了一款完全在 Arm CPU 上本地运行的个人音效生成工具，无需 GPU 和云端推理，几秒内即可根据提示词生成 .wav 文件并直接导入 Ableton Live。
Hugging Face Blog精选AI 评分6262 TRL 支持 vLLM 共置：训练与推理共享同一批 GPU
Hugging Face 的 TRL 通过 PR #3394 支持 vLLM 的 external launcher，让训练与推理共置在同一批 GPU 上，不再需要单独的 vLLM 服务器进程。
推荐理由：原文给出同卡共置训练与推理的实现方式和多组吞吐对比，读者可据此判断 GRPO 训练的成本变化。
Hugging Face BlogAI 评分1010 Liger GRPO 与 TRL 集成：Qwen2.5-0.5B-Instruct 在 DeepSpeed ZeRO3 下报形状不匹配
用户反馈在 TRL 中使用 Liger GRPO loss 配合 DeepSpeed ZeRO3 训练 Qwen/Qwen2.5-0.5B-Instruct（bf16）时出现形状不匹配错误，报错栈指向 liger_kernel 的 chunked_loss/grpo_loss.py 与 fused_linear_ppo.py。
Hugging Face Blog精选AI 评分6262 Hugging Face 发布 Python Tiny Agents：约 70 行代码实现 MCP 智能体
Hugging Face 在 huggingface_hub 中新增 MCPClient，并基于它实现 Python 版 Tiny Agents，用约 70 行代码即可搭建连接 MCP 服务器的智能体。
推荐理由：原文给出约 70 行 Python 代码实现 MCP 智能体的完整方法，读者可据此复用并接入自有工具。
Hugging Face BlogAI 评分5858 Hugging Face 发布 nanoVLM：用纯 PyTorch 训练视觉语言模型的最简仓库
Hugging Face 发布 nanoVLM，一个用纯 PyTorch 训练视觉语言模型（VLM）的轻量工具包，灵感来自 nanoGPT，可在免费 Colab 上启动训练。
Hugging Face BlogAI 评分3636 Hugging Face Diffusers 量化后端解析：bitsandbytes、GGUF、torchao、Quanto 与 FP8
Hugging Face Diffusers 现已集成 bitsandbytes、GGUF、torchao、Quanto 和原生 FP8 等多种量化后端，并以 Flux-dev 为例展示其效果。
Hugging Face BlogAI 评分3434 Hugging Face 回顾视觉语言模型一年进展：更小、更快、更强
Hugging Face 发文回顾过去一年视觉语言模型（VLM）的关键变化，涵盖 any-to-any 模型、推理模型、小尺寸模型、MoE 解码器、视觉语言动作模型、多模态 RAG 与智能体、视频语言模型等新趋势。
Hugging Face BlogAI 评分3434 LeRobot 社区数据集：机器人领域的“ImageNet”何时到来、如何实现？
Hugging Face 发文称 LeRobot 社区贡献数据集正快速增长，目标是把泛化当作数据问题，构建开放多样的“机器人 ImageNet”。目前上传数据集多集中在 So100 和 Koch 机械臂，社区案例还包括抽屉操作、国际象棋对局和动物玩偶交互等。文章同时指出，随着数据采集门槛降低，数据整理与策展将成为下一阶段挑战。
Hugging Face BlogAI 评分3636 Qwen-3 的 Chat Template 教会我们的 4 件事
Qwen-3 的 chat template 相比 Qwen-2.5 和 QwQ 有四处关键变化：通过 enable_thinking 标志可开关推理，设为 false 时模板插入空对以跳过逐步思考，而 QwQ 等旧模型强制每轮生成思维链。
Hugging Face Blog精选AI 评分6262 如何用 Gradio 构建 MCP Server
Hugging Face 发布教程，介绍如何用 Gradio 在几行 Python 代码内把应用变成 MCP Server，供 LLM 作为工具调用。只需在 launch() 中设置 mcp_server=True，Gradio 就会自动把函数转成 MCP 工具，并用 docstring 生成工具描述和参数，MCP 端点位于 /gradio_api/mcp/sse。
推荐理由：原文给出用 Gradio 把 Python 函数变成 MCP 工具的完整步骤，读者可据此把自有应用接入 LLM 工具调用。
Hugging Face BlogAI 评分2626 Intel 推出 AutoRound：面向 LLM 与 VLM 的先进量化工具
Intel 发布权重仅训练后量化方法 AutoRound，通过符号梯度下降联合优化权重舍入与裁剪范围，实现 INT2-INT8 低比特量化。在 INT2 下其相对精度最高达主流基线 2.1 倍，量化 72B 模型在 A100 上仅需 37 分钟。
Hugging Face Blog精选AI 评分6060 ServiceNow 开源 PipelineRL：用 inflight 权重更新加速 LLM 强化学习
ServiceNow 开源实验性强化学习实现 PipelineRL，其核心创新是在 RL 训练中进行 inflight 权重更新，让推理服务器在不停机的情况下接收新权重，从而在保持高推理吞吐的同时让数据接近 on-policy。
推荐理由：ServiceNow 开源 PipelineRL，用 inflight 权重更新缓解推理吞吐与 on-policy 数据采集的矛盾，并给出 7B/32B 实验对比。
Hugging Face Blog精选AI 评分6262 Tiny Agents：用 50 行代码实现 MCP 驱动的智能体
Hugging Face 发布 Tiny Agents 教程，展示如何用约 50 行 TypeScript 代码在 InferenceClient 之上实现 MCP 客户端和智能体。
推荐理由：作者用 50 行代码演示 MCP 客户端与智能体的最小实现，读者可据此理解工具调用如何接入推理客户端。
Hugging Face BlogAI 评分3030 TNG 微调 olmOCR-7B-0225-preview，打造忠实还原页眉页脚的 OCR 引擎
TNG 基于 olmOCR-7B-0225-preview 微调出一款忠实 OCR 引擎，解决了原模型为生成训练数据而忽略页眉页脚信息的问题。团队用 Qwen2.5-VL-72B-Instruct 生成 8000 份文档数据集，在 8xH100 节点上训练 2.5 个 epoch，微调版可完整提取发票等文档的页眉页脚内容并保留表格解析能力。该模型已在 Hugging Face 开源。
Hugging Face BlogAI 评分3636 TNG 如何优化 LLM 并发请求的 Prefill 与 Decode 性能
TNG 在 24 张 H100 GPU 集群上自托管多个大语言模型，支撑 50 个应用、每小时超 5,000 次推理、每天生成超一千万 token。文章拆解了 LLM 生成的两个阶段：prefill 阶段并行处理全部输入 token，decode 阶段只能逐个串行生成输出 token，二者分别对应首 token 延迟和单 token 延迟两个指标。
Hugging Face BlogAI 评分3030 Gradio 不只是 UI 库：17 个理由解析其 AI 应用框架能力
Hugging Face 发文列举 Gradio 的 17 项特性，说明它不只是 Python UI 库，而是同时提供 UI 与 API 的机器学习应用框架。
Mistral AIAI 评分3030 Mistral 如何用 LLM as a Judge 评估 RAG 系统
Mistral 提出用 LLM as a Judge 评估 RAG 系统，由 judge LLM 按数值、二元或定性量表为 generator LLM 的回答打分，再对评测数据集取平均得到加权总分。
Hugging Face BlogAI 评分2222 Gradio 月活用户突破 100 万：Hugging Face 分享五年增长经验
Gradio 月活开发者已超过 100 万，成为 Automatic1111、Text Generation WebUI、Dall-E Mini、LLaMA-Factory 等热门开源项目的界面方案。
Hugging Face BlogAI 评分3838 高效请求排队：优化 LLM 推理性能的公平调度策略
TNG Technology Consulting 分享了自托管 LLM 服务中请求排队导致"重度用户"阻塞其他用户的问题，提出在 LLM-Server 层为每个用户和模型建立独立队列并采用轮询调度实现公平分配。由于 vLLM 不支持限制后端队列长度，方案通过抓取 vLLM /metrics 端点的 Prometheus 指标动态调节请求发送速率，将后端队列长度控制在 3 以下以降低新用户延迟。
Hugging Face BlogAI 评分2020 Hugging Face 如何用 Infisical 扩展 AI 基础设施的密钥管理
Hugging Face 将密钥管理从 AWS 单云方案迁移至 Infisical，以应对多云环境下的 secret sprawl、权限管理和手动轮换难题。团队通过 Infisical Kubernetes Operator 自动同步密钥更新，并借助 Okta 集成实现细粒度 RBAC，同时用 CLI 替代本地 .env 文件。
Hugging Face BlogAI 评分3434 如何用 Sentence Transformers 训练和微调 Reranker 模型
Sentence Transformers 库可微调 reranker（Cross Encoder）模型，使其在自有数据上超越现有方案，也能从零训练新模型。
Hugging Face BlogAI 评分3838 Open R1 教程：如何在本地用 OlympicCoder 7B 做编程助手
Hugging Face 发布教程，介绍如何在本地通过 LM Studio 加载 4bit GGUF 量化的 OlympicCoder 7B，并接入 VS Code 的 Continue 扩展实现代码补全、生成、解释、重构和写测试。
Hugging Face BlogAI 评分3636 如何在手机上通过 React Native 本地运行 LLM：Hugging Face 边缘推理指南
Hugging Face 发布教程，演示如何用 React Native 和 llama.rn（llama.cpp 的绑定）构建可在 Android 与 iOS 上离线运行 LLM 的聊天应用，模型从 Hugging Face hub 下载 GGUF 文件，全程本地推理保证隐私。
Hugging Face BlogAI 评分2828 用 Arize Phoenix 追踪与评估你的 Agent
Hugging Face 发布教程，演示如何用 Arize Phoenix 配合 OpenTelemetry 与 OpenInference 追踪和评估基于 smolagents 构建的 Agent。
Hugging Face BlogAI 评分5050 每天 10 亿次分类：如何用单卡 L4 把成本压到 253 美元
Hugging Face 博客给出每天 10 亿次分类与嵌入推理的成本测算框架，用 Infinity 部署、k6 压测，在 nvidia-L4（$0.8/hr）上跑 10 亿条输入。
Hugging Face BlogAI 评分4040 Hugging Face 发布视频生成数据集构建工具链
Hugging Face 推出面向视频生成模型微调的开源数据集工具链，采用三阶段流水线：用 yt-dlp 下载视频并切分为短片段，再通过 LAION-5B-WatermarkDetection。
Hugging Face Blog精选AI 评分7171 Hugging Face 开源 DeepResearch 框架，GAIA 验证集达 55.15%
Hugging Face 在 24 小时复现冲刺中开源了 DeepResearch 所需的智能体框架，在 GAIA 验证集上达到 55.15%，高于此前开源框架 Magentic-One 的约 46%。
推荐理由：Hugging Face 用 24 小时复现 OpenAI Deep Research，给出开源框架与 GAIA 实测对比，可看代码智能体相对 JSON 智能体的差距。
Hugging Face Blog精选AI 评分6262 Open-R1 更新：复现 DeepSeek-R1 评测分数与训练管线进展
Hugging Face 的 Open-R1 项目在启动一周后，复现了 DeepSeek-R1 蒸馏模型在 MATH-500 上的评测分数，例如 DeepSeek-R1-Distill-Qwen-1.5B 得 81.6、7B 得 91.8、32B 得 95.0。
推荐理由：Open-R1 一周内复现了 DeepSeek-R1 蒸馏模型的评测分数，并公开了 GRPO 训练与合成数据生成的具体工程取舍。
Hugging Face Blog精选AI 评分6262 Mini-R1：用 GRPO 和 Countdown 游戏复现 DeepSeek R1 的 aha moment
Hugging Face 博客发布 Mini-R1 教程，用 GRPO 和 Countdown 游戏在 Qwen2.5-3B-Instruct 上复现 DeepSeek-R1 的 aha moment。
推荐理由：作者用 4 张 H100 复现 DeepSeek-R1 的 aha moment，给出完整脚本与训练观察，可迁移到自己的 RL 实验。
Hugging Face BlogAI 评分4848 如何在 AWS 上部署和微调 DeepSeek 模型
Hugging Face 发布指南，介绍如何在 AWS 上部署和微调 DeepSeek-R1 系列模型。
Hugging Face Blog精选AI 评分6060 Diffusers 团队梳理开源视频生成模型现状与优化方案
Hugging Face Diffusers 团队发布博客，梳理开源视频生成模型现状，并介绍 Diffusers 对 CogVideoX、Mochi-1、HunyuanVideo、LTX-Video 等模型的支持与优化方案。
推荐理由：梳理开源视频生成模型现状与 Diffusers 的显存优化路径，给出可复用的量化与卸载配置。