Gradio 月活用户突破 100 万：Hugging Face 分享五年增长经验
Gradio 月活开发者已超过 100 万，成为 Automatic1111、Text Generation WebUI、Dall-E Mini、LLaMA-Factory 等热门开源项目的界面方案。
#教程/实践
#教程/实践
今日 4 条Hugging Face BlogAI 评分2222
Hugging Face BlogAI 评分3030 Hugging Face 的 NLP Course 升级更名为 LLM Course
Hugging Face 将已有 3 年历史的 NLP Course 更名为 LLM Course，并新增微调 LLM、构建 DeepSeek R1 等推理模型的章节。
Hugging Face BlogAI 评分3838 高效请求排队：优化 LLM 推理性能的公平调度策略
TNG Technology Consulting 分享了自托管 LLM 服务中请求排队导致"重度用户"阻塞其他用户的问题，提出在 LLM-Server 层为每个用户和模型建立独立队列并采用轮询调度实现公平分配。由于 vLLM 不支持限制后端队列长度，方案通过抓取 vLLM /metrics 端点的 Prometheus 指标动态调节请求发送速率，将后端队列长度控制在 3 以下以降低新用户延迟。
Hugging Face BlogAI 评分2020 Hugging Face 如何用 Infisical 扩展 AI 基础设施的密钥管理
Hugging Face 将密钥管理从 AWS 单云方案迁移至 Infisical，以应对多云环境下的 secret sprawl、权限管理和手动轮换难题。团队通过 Infisical Kubernetes Operator 自动同步密钥更新，并借助 Okta 集成实现细粒度 RBAC，同时用 CLI 替代本地 .env 文件。
Hugging Face BlogAI 评分3434 如何用 Sentence Transformers 训练和微调 Reranker 模型
Sentence Transformers 库可微调 reranker（Cross Encoder）模型，使其在自有数据上超越现有方案，也能从零训练新模型。
Hugging Face BlogAI 评分3838 Open R1 教程：如何在本地用 OlympicCoder 7B 做编程助手
Hugging Face 发布教程，介绍如何在本地通过 LM Studio 加载 4bit GGUF 量化的 OlympicCoder 7B，并接入 VS Code 的 Continue 扩展实现代码补全、生成、解释、重构和写测试。
Hugging Face BlogAI 评分3636 如何在手机上通过 React Native 本地运行 LLM：Hugging Face 边缘推理指南
Hugging Face 发布教程，演示如何用 React Native 和 llama.rn（llama.cpp 的绑定）构建可在 Android 与 iOS 上离线运行 LLM 的聊天应用，模型从 Hugging Face hub 下载 GGUF 文件，全程本地推理保证隐私。
Mistral AIAI 评分2828 Mistral AI 用智能体工作流自动生成 PRD 与工程任务
Mistral AI 推出 TranscriptToPRDTicket 智能体工作流，由 Mistral Large 2 驱动的 PRDAgent 和 TicketCreationAgent 组成，可将会议转录自动生成 PRD 并转化为结构化开发工单，自动在 Linear / Jira 中创建。
Hugging Face BlogAI 评分2828 用 Arize Phoenix 追踪与评估你的 Agent
Hugging Face 发布教程，演示如何用 Arize Phoenix 配合 OpenTelemetry 与 OpenInference 追踪和评估基于 smolagents 构建的 Agent。
Hugging Face BlogAI 评分5050 每天 10 亿次分类：如何用单卡 L4 把成本压到 253 美元
Hugging Face 博客给出每天 10 亿次分类与嵌入推理的成本测算框架，用 Infinity 部署、k6 压测，在 nvidia-L4（$0.8/hr）上跑 10 亿条输入。
Hugging Face BlogAI 评分4040 Hugging Face 发布视频生成数据集构建工具链
Hugging Face 推出面向视频生成模型微调的开源数据集工具链，采用三阶段流水线：用 yt-dlp 下载视频并切分为短片段，再通过 LAION-5B-WatermarkDetection。
OpenAI NewsAI 评分2222 用 ChatGPT 打造自定义数学辅导工具
OpenAI 介绍如何基于 ChatGPT 构建自定义数学辅导工具。文章以“ChatGPT 与个性化辅导”为主题，说明 ChatGPT 可用于提供个性化学习辅导。原文未披露具体模型版本、参数规模或可用性细节。
Hugging Face Blog精选AI 评分6262 Mini-R1：用 GRPO 和 Countdown 游戏复现 DeepSeek R1 的 aha moment
Hugging Face 博客发布 Mini-R1 教程，用 GRPO 和 Countdown 游戏在 Qwen2.5-3B-Instruct 上复现 DeepSeek-R1 的 aha moment。
推荐理由：作者用 4 张 H100 复现 DeepSeek-R1 的 aha moment，给出完整脚本与训练观察，可迁移到自己的 RL 实验。
Hugging Face BlogAI 评分4848 如何在 AWS 上部署和微调 DeepSeek 模型
Hugging Face 发布指南，介绍如何在 AWS 上部署和微调 DeepSeek-R1 系列模型。
Hugging Face Blog精选AI 评分6060 Diffusers 团队梳理开源视频生成模型现状与优化方案
Hugging Face Diffusers 团队发布博客，梳理开源视频生成模型现状，并介绍 Diffusers 对 CogVideoX、Mochi-1、HunyuanVideo、LTX-Video 等模型的支持与优化方案。
推荐理由：梳理开源视频生成模型现状与 Diffusers 的显存优化路径，给出可复用的量化与卸载配置。
Hugging Face BlogAI 评分4242 用 KVPress 掌握 LLM 长上下文：NVIDIA 的 KV Cache 压缩工具包
NVIDIA 推出 Python 工具包 KVPress，通过一系列压缩算法降低长上下文 LLM 的 KV Cache 内存占用。以 Llama 3-70B 在 bfloat16 下处理 1M token 为例，KV Cache 需 327.6GB，占约 470GB 总内存的 70%。
Hugging Face BlogAI 评分4545 Hugging Face 推出 TimmWrapper：在 transformers 中使用任意 timm 模型
Hugging Face 发布 TimmWrapper，让任意 timm 视觉模型可直接接入 transformers 生态，支持 pipeline API、Auto 类和 Trainer 微调。该工具可用约 5 行代码通过 BitsAndBytesConfig 完成 8bit 量化，并支持 torch.compile 加速推理与 LoRA 适配器微调，微调后的模型还能回到 timm 使用。
Hugging Face Blog精选AI 评分6262 如何在 PyTorch 中可视化并理解 GPU 显存占用
Hugging Face 博客发布教程，介绍用 torch.cuda.memory._record_memory_history 记录并可视化 PyTorch 训练时的 GPU 显存占用。文章以 Qwen2.5-1.5B 为例拆解模型参数、优化器状态、激活值、梯度和优化器中间值各占多少显存，并给出总显存估算公式和激活值随参数量线性变化的启发式。作者还提供了一个显存估算小工具。
推荐理由：原文用可视化快照拆解训练各阶段显存占用，并给出可复用的显存估算公式与启发式。
Hugging Face BlogAI 评分3838 用 NVIDIA LogitsProcessorZoo 控制语言模型生成
NVIDIA 推出 LogitsProcessorZoo，一组模块化 logits 处理器，可控制序列长度、强制关键短语或引导多选题答案，并与 Hugging Face 的 generate 方法完全兼容。该库通过 pip install logits-processor-zoo 安装，示例基于 meta-llama/Llama-3.2-1B-Instruct 模型演示。
Hugging Face BlogAI 评分2222 在 GCP 第五代 Xeon 上基准测试语言模型性能
Hugging Face 在 Google Cloud 的 N2（第三代 Xeon）与 C4（第五代 Xeon）实例上基准测试了文本嵌入和文本生成两类智能体 AI 负载。
Hugging Face BlogAI 评分2222 LLM 修复自身错误的能力如何？基于 Keras 和 TPU 的聊天机器人竞技场实验
Hugging Face 用 Keras、JAX 和 TPU 搭建了一个聊天机器人竞技场，测试 LLM 能否根据用户的自然语言反馈修正自己生成的代码。实验在 TPU v5e 2x4 上同时加载了 5 个约 8B 参数模型和 3 个约 2B 参数模型，共 7 个 LLM，以 bfloat16 格式运行，通过 Gradio 界面并行对话并随时切换模型。
Hugging Face BlogAI 评分2727 CFM 如何用 LLM 辅助标注微调小模型，NER 成本最高降低 80 倍
Capital Fund Management（CFM）借助 Hugging Face Inference Endpoints 与 Argilla，用 Llama 3.1 生成标注并经人工复核，再微调小模型完成金融新闻的命名实体识别。
Hugging Face BlogAI 评分2222 如何一步步推导出 SOTA 位置编码 RoPE
Hugging Face 博客通过逐步迭代改进位置编码方案，最终推导出被 Llama 3.2 及多数现代 Transformer 采用的旋转位置编码（RoPE）。
Hugging Face BlogAI 评分3636 Hugging Face 详解 LayerSkip 自推测解码：用 transformers 加速文本生成
Hugging Face 博客介绍 LayerSkip 提出的自推测解码，用同一 LLM 的早期层生成 draft token、深层网络负责验证，无需额外小模型即可加速文本生成并降低显存占用。
Hugging Face BlogAI 评分2222 Hugging Face 专家支持案例：用 LLM-as-a-Judge 强化 RAG 应用
CGIAR 与 Digital Green 在 Hugging Face 专家支持下为农业问答机器人 Farmer.chat 搭建了 LLM-as-a-Judge 评测体系，用于衡量 RAG 回答的质量。
Hugging Face BlogAI 评分4040 Hugging Face 如何在 Inference Endpoints 上部署 Speech-to-Speech
Hugging Face 的 Speech-to-Speech（S2S）项目通过 VAD、STT、LM、TTS 级联流水线实现语音对话，支持英语、法语、西班牙语、中文、日语和韩语，可用 auto 标志自动检测语言。
Hugging Face BlogAI 评分3636 Keras 中的 Llama 3.2：从第一天起就可用
Keras 已支持 Llama 3.2，可直接从 Hugging Face 的 safetensors checkpoint 加载，包括 Llama-3.2-1B-Instruct，无需等待转换，必要时在加载时即时完成。
Hugging Face BlogAI 评分5050 Hugging Face 修复 Transformers 梯度累积损失计算错误
Hugging Face 修复了 Transformers Trainer 中梯度累积的损失计算错误：此前开启梯度累积时，token 级任务（如 causal LM）的损失按各批次损失取平均，而非按全部非 padding token 总数加权，导致与全批量训练结果不一致。
Hugging Face BlogAI 评分3838 Hugging Face 联合 Dask 扩展 AI 数据处理：从 100 行到 2.11 亿行
Hugging Face 与 Dask 结合，可将 TB 级数据集处理从本地 pandas 扩展到云端多 GPU 并行推理。示例用 FineWeb-Edu 分类器处理 FineWeb 数据集，从本地 100 行扩展到 2.11 亿行、432 GB 的 250 个 Parquet 文件，并支持多节点 GPU 推理。
Hugging Face BlogAI 评分4242 Intel Labs 与 Hugging Face 推出动态推测解码，文本生成最高提速 2.7 倍
Intel Labs 与 Hugging Face 提出动态推测解码方法，根据助手模型每次预测的置信度动态调整推测前瞻长度，文本生成最高提速 2.7 倍。该方法自 Transformers 4.45.0 起成为辅助生成的默认模式，在 Llama3.1-8B 搭配 Llama3.2-1B 等测试中均优于启发式方法，后者在 codegen-6B-mono 上甚至出现减速。
Hugging Face BlogAI 评分2828 Hugging Face 教程：如何将顶点着色网格转换为 UV 贴图纹理网格
Hugging Face 发布教程，介绍如何将 InstantMesh 等生成式 3D 模型输出的顶点着色网格转换为 UV 贴图纹理网格，并提供 InstantTexture 库实现一键转换。该库通过 xatlas 生成 UV 映射，结合重心坐标插值填充纹理，再用修复、中值滤波、高斯模糊和 LANCZOS 降采样消除空洞与噪点，最终输出 .glb 网格。
Hugging Face BlogAI 评分2222 Hugging Face Daily Papers 页面功能全解析
Hugging Face 的 Daily Papers 页面已收录超 3,700 篇论文、订阅者超 12k，作者可一键认领论文并关联到自己的账号。用户还能提交论文、在评论区与作者直接对话，并用 @librarian-bot 获取相似论文推荐。页面支持多语言评论与翻译，并可将论文关联的模型、数据集和 demo 集中展示。
Hugging Face BlogAI 评分2828 用 Optimum-Intel 和 OpenVINO GenAI 优化并部署 Transformers 模型
Hugging Face 与 Intel 合作的 Optimum-Intel 支持将 Transformers 模型导出为 OpenVINO IR，并通过 OpenVINO GenAI 的 LLMPipeline 在 C++ 或 Python 中部署。
Hugging Face Blog精选AI 评分6060 Hugging Face 把 Llama3 8B 微调到 1.58bit：极低比特量化实践
Hugging Face 团队基于微软 BitNet 架构，成功将 Llama3 8B 微调到 1.58bit，每个参数只用 -1、0、1 三个值表示，模型已发布在 HF1BitLLM 组织下。
推荐理由：Hugging Face 团队公开了把已有 Llama3 8B 微调到 1.58bit 的完整流程与踩坑记录，可迁移到其他模型的极低比特量化。
Hugging Face BlogAI 评分3434 Hugging Face 用视频编码扩展机器人数据集
Hugging Face 的 LeRobot 项目提出 LeRobotDataset 格式，用视频编码存储机器人数据集的视觉模态，平均体积降至原始版本的 14%，最佳情况可达 0.2%，同时保持完整训练能力。解码单帧耗时与压缩图像相当，连续多帧解码仅为压缩图像的 25%-50%，并原生集成 Hub 与可视化工具。
Hugging Face BlogAI 评分3434 Hugging Face 上 5 个最被低估的工具
Hugging Face Hub 拥有超 85 万公开模型、每月新增约 5 万个，但 ZeroGPU、多进程 Docker、Gradio API、Webhooks 和 Nomic Atlas 这 5 项工具常被忽视。
Hugging Face BlogAI 评分2828 在 Google Cloud Vertex AI 上部署 Meta Llama 3.1 405B
Hugging Face 发布教程，介绍如何在 Google Cloud Vertex AI 上用 Text Generation Inference（TGI）和 Hugging Face 深度学习容器（DLC）部署 Meta Llama 3.1 405B。
Hugging Face BlogAI 评分3434 Hugging Face 复现 Infini-Attention 失败：压缩次数越多性能越差
Hugging Face 复现 Google 的 Infini-attention 实验发现，随着记忆压缩次数增加，模型性能反而持续下降。团队尝试将 Llama 3 8B 的 8k 上下文扩展至 100 万 token，但结论是 ring attention、YaRN 和 rope scaling 仍是扩展预训练模型上下文长度的最佳方案。训练好的 checkpoint 已公开，代码按原样提供。
Hugging Face BlogAI 评分2828 ggml 入门指南：面向 Transformer 推理的 C/C++ 机器学习库
Hugging Face 发布 ggml 入门指南，介绍这个用 C/C++ 编写、专注 Transformer 推理的开源机器学习库。
Hugging Face BlogAI 评分2828 Hugging Face 与 Albumentations AI 推出面向文档图像的 TextImage 数据增强
Hugging Face 与 Albumentations AI 合作推出 TextImage 数据增强流程，可同时修改文档图像及其文本标注，用于视觉语言模型（VLM）微调。该流程支持随机插入、删除、交换和停用词替换等文本增强，并配合图像黑化与修复，保持文本质量。初始版本中的同义词替换因耗时过高已被移除。