长提示词如何阻塞其他请求：优化 LLM 性能
TNG 在 24 块 H100 上自托管多个大语言模型，每日消耗超 1 亿 token、生成超 1000 万 token，发现 vLLM 默认 chunked-prefill 会顺序调度不同请求的 prefill，单个长提示词请求会阻塞后续请求，导致首 token 等待时间变长。
#教程/实践
#教程/实践
今日 4 条Hugging Face BlogAI 评分3636 Hugging Face BlogAI 评分5858 5 分钟上手 Hugging Face Kernel Hub
Hugging Face 发布 Kernel Hub，让 Python 库和应用通过 kernels 库的 get_kernel 直接从 Hub 加载预编译的优化计算 kernel，无需本地编译。
Hugging Face Blog精选AI 评分6262 如何用 LeRobot SO-101 机械臂后训练 Isaac GR00T N1.5
NVIDIA 发布 Isaac GR00T N1.5，这是 Isaac GR00T N1 的首次重大更新，可通过后训练适配特定本体、任务和环境。
推荐理由：原文给出从数据准备到真机部署的完整命令，读者可据此在低成本 SO-101 机械臂上复现微调流程。
Hugging Face BlogAI 评分2222 nanoVLM 从零实现 KV Cache，生成速度提升 38%
Hugging Face 的 nanoVLM 仓库从零实现了 KV Cache，使自回归生成速度提升 38%。该实现覆盖 Attention 块的缓存更新、语言模型逐层缓存管理，以及区分 prefill 与逐 token 解码的生成循环。相关经验可推广到所有自回归语言模型的生成优化。
Hugging Face BlogAI 评分2929 Arm CPU 上实时 AI 音效生成：基于 Stable Audio Open 的个人创作工具
Arm 工程师 Michael Gamble 用 Stable Audio Open 模型、PyTorch 和 TorchAudio 打造了一款完全在 Arm CPU 上本地运行的个人音效生成工具，无需 GPU 和云端推理，几秒内即可根据提示词生成 .wav 文件并直接导入 Ableton Live。
Hugging Face BlogAI 评分1010 Liger GRPO 与 TRL 集成：Qwen2.5-0.5B-Instruct 在 DeepSpeed ZeRO3 下报形状不匹配
用户反馈在 TRL 中使用 Liger GRPO loss 配合 DeepSpeed ZeRO3 训练 Qwen/Qwen2.5-0.5B-Instruct（bf16）时出现形状不匹配错误，报错栈指向 liger_kernel 的 chunked_loss/grpo_loss.py 与 fused_linear_ppo.py。
Hugging Face Blog精选AI 评分6262 Hugging Face 发布 Python Tiny Agents：约 70 行代码实现 MCP 智能体
Hugging Face 在 huggingface_hub 中新增 MCPClient，并基于它实现 Python 版 Tiny Agents，用约 70 行代码即可搭建连接 MCP 服务器的智能体。
推荐理由：原文给出约 70 行 Python 代码实现 MCP 智能体的完整方法，读者可据此复用并接入自有工具。
Hugging Face BlogAI 评分5858 Hugging Face 发布 nanoVLM：用纯 PyTorch 训练视觉语言模型的最简仓库
Hugging Face 发布 nanoVLM，一个用纯 PyTorch 训练视觉语言模型（VLM）的轻量工具包，灵感来自 nanoGPT，可在免费 Colab 上启动训练。
Hugging Face BlogAI 评分3636 Hugging Face Diffusers 量化后端解析：bitsandbytes、GGUF、torchao、Quanto 与 FP8
Hugging Face Diffusers 现已集成 bitsandbytes、GGUF、torchao、Quanto 和原生 FP8 等多种量化后端，并以 Flux-dev 为例展示其效果。
Hugging Face BlogAI 评分3434 Hugging Face 回顾视觉语言模型一年进展：更小、更快、更强
Hugging Face 发文回顾过去一年视觉语言模型（VLM）的关键变化，涵盖 any-to-any 模型、推理模型、小尺寸模型、MoE 解码器、视觉语言动作模型、多模态 RAG 与智能体、视频语言模型等新趋势。
Hugging Face BlogAI 评分3434 LeRobot 社区数据集：机器人领域的“ImageNet”何时到来、如何实现？
Hugging Face 发文称 LeRobot 社区贡献数据集正快速增长，目标是把泛化当作数据问题，构建开放多样的“机器人 ImageNet”。目前上传数据集多集中在 So100 和 Koch 机械臂，社区案例还包括抽屉操作、国际象棋对局和动物玩偶交互等。文章同时指出，随着数据采集门槛降低，数据整理与策展将成为下一阶段挑战。
Hugging Face BlogAI 评分3636 Qwen-3 的 Chat Template 教会我们的 4 件事
Qwen-3 的 chat template 相比 Qwen-2.5 和 QwQ 有四处关键变化：通过 enable_thinking 标志可开关推理，设为 false 时模板插入空对以跳过逐步思考，而 QwQ 等旧模型强制每轮生成思维链。
Hugging Face Blog精选AI 评分6262 如何用 Gradio 构建 MCP Server
Hugging Face 发布教程，介绍如何用 Gradio 在几行 Python 代码内把应用变成 MCP Server，供 LLM 作为工具调用。只需在 launch() 中设置 mcp_server=True，Gradio 就会自动把函数转成 MCP 工具，并用 docstring 生成工具描述和参数，MCP 端点位于 /gradio_api/mcp/sse。
推荐理由：原文给出用 Gradio 把 Python 函数变成 MCP 工具的完整步骤，读者可据此把自有应用接入 LLM 工具调用。
Hugging Face BlogAI 评分2626 Intel 推出 AutoRound：面向 LLM 与 VLM 的先进量化工具
Intel 发布权重仅训练后量化方法 AutoRound，通过符号梯度下降联合优化权重舍入与裁剪范围，实现 INT2-INT8 低比特量化。在 INT2 下其相对精度最高达主流基线 2.1 倍，量化 72B 模型在 A100 上仅需 37 分钟。
Hugging Face Blog精选AI 评分6262 Tiny Agents：用 50 行代码实现 MCP 驱动的智能体
Hugging Face 发布 Tiny Agents 教程，展示如何用约 50 行 TypeScript 代码在 InferenceClient 之上实现 MCP 客户端和智能体。
推荐理由：作者用 50 行代码演示 MCP 客户端与智能体的最小实现，读者可据此理解工具调用如何接入推理客户端。
Hugging Face BlogAI 评分3030 TNG 微调 olmOCR-7B-0225-preview，打造忠实还原页眉页脚的 OCR 引擎
TNG 基于 olmOCR-7B-0225-preview 微调出一款忠实 OCR 引擎，解决了原模型为生成训练数据而忽略页眉页脚信息的问题。团队用 Qwen2.5-VL-72B-Instruct 生成 8000 份文档数据集，在 8xH100 节点上训练 2.5 个 epoch，微调版可完整提取发票等文档的页眉页脚内容并保留表格解析能力。该模型已在 Hugging Face 开源。
Hugging Face BlogAI 评分3636 TNG 如何优化 LLM 并发请求的 Prefill 与 Decode 性能
TNG 在 24 张 H100 GPU 集群上自托管多个大语言模型，支撑 50 个应用、每小时超 5,000 次推理、每天生成超一千万 token。文章拆解了 LLM 生成的两个阶段：prefill 阶段并行处理全部输入 token，decode 阶段只能逐个串行生成输出 token，二者分别对应首 token 延迟和单 token 延迟两个指标。
Hugging Face BlogAI 评分3030 Gradio 不只是 UI 库：17 个理由解析其 AI 应用框架能力
Hugging Face 发文列举 Gradio 的 17 项特性，说明它不只是 Python UI 库，而是同时提供 UI 与 API 的机器学习应用框架。
Mistral AIAI 评分3030 Mistral 如何用 LLM as a Judge 评估 RAG 系统
Mistral 提出用 LLM as a Judge 评估 RAG 系统，由 judge LLM 按数值、二元或定性量表为 generator LLM 的回答打分，再对评测数据集取平均得到加权总分。
Hugging Face BlogAI 评分2222 Gradio 月活用户突破 100 万：Hugging Face 分享五年增长经验
Gradio 月活开发者已超过 100 万，成为 Automatic1111、Text Generation WebUI、Dall-E Mini、LLaMA-Factory 等热门开源项目的界面方案。
Hugging Face BlogAI 评分3030 Hugging Face 的 NLP Course 升级更名为 LLM Course
Hugging Face 将已有 3 年历史的 NLP Course 更名为 LLM Course，并新增微调 LLM、构建 DeepSeek R1 等推理模型的章节。
Hugging Face BlogAI 评分3838 高效请求排队：优化 LLM 推理性能的公平调度策略
TNG Technology Consulting 分享了自托管 LLM 服务中请求排队导致"重度用户"阻塞其他用户的问题，提出在 LLM-Server 层为每个用户和模型建立独立队列并采用轮询调度实现公平分配。由于 vLLM 不支持限制后端队列长度，方案通过抓取 vLLM /metrics 端点的 Prometheus 指标动态调节请求发送速率，将后端队列长度控制在 3 以下以降低新用户延迟。
Hugging Face BlogAI 评分2020 Hugging Face 如何用 Infisical 扩展 AI 基础设施的密钥管理
Hugging Face 将密钥管理从 AWS 单云方案迁移至 Infisical，以应对多云环境下的 secret sprawl、权限管理和手动轮换难题。团队通过 Infisical Kubernetes Operator 自动同步密钥更新，并借助 Okta 集成实现细粒度 RBAC，同时用 CLI 替代本地 .env 文件。
Hugging Face BlogAI 评分3434 如何用 Sentence Transformers 训练和微调 Reranker 模型
Sentence Transformers 库可微调 reranker（Cross Encoder）模型，使其在自有数据上超越现有方案，也能从零训练新模型。
Hugging Face BlogAI 评分3838 Open R1 教程：如何在本地用 OlympicCoder 7B 做编程助手
Hugging Face 发布教程，介绍如何在本地通过 LM Studio 加载 4bit GGUF 量化的 OlympicCoder 7B，并接入 VS Code 的 Continue 扩展实现代码补全、生成、解释、重构和写测试。
Hugging Face BlogAI 评分3636 如何在手机上通过 React Native 本地运行 LLM：Hugging Face 边缘推理指南
Hugging Face 发布教程，演示如何用 React Native 和 llama.rn（llama.cpp 的绑定）构建可在 Android 与 iOS 上离线运行 LLM 的聊天应用，模型从 Hugging Face hub 下载 GGUF 文件，全程本地推理保证隐私。
Mistral AIAI 评分2828 Mistral AI 用智能体工作流自动生成 PRD 与工程任务
Mistral AI 推出 TranscriptToPRDTicket 智能体工作流，由 Mistral Large 2 驱动的 PRDAgent 和 TicketCreationAgent 组成，可将会议转录自动生成 PRD 并转化为结构化开发工单，自动在 Linear / Jira 中创建。
Hugging Face BlogAI 评分2828 用 Arize Phoenix 追踪与评估你的 Agent
Hugging Face 发布教程，演示如何用 Arize Phoenix 配合 OpenTelemetry 与 OpenInference 追踪和评估基于 smolagents 构建的 Agent。
Hugging Face BlogAI 评分5050 每天 10 亿次分类：如何用单卡 L4 把成本压到 253 美元
Hugging Face 博客给出每天 10 亿次分类与嵌入推理的成本测算框架，用 Infinity 部署、k6 压测，在 nvidia-L4（$0.8/hr）上跑 10 亿条输入。
Hugging Face BlogAI 评分4040 Hugging Face 发布视频生成数据集构建工具链
Hugging Face 推出面向视频生成模型微调的开源数据集工具链，采用三阶段流水线：用 yt-dlp 下载视频并切分为短片段，再通过 LAION-5B-WatermarkDetection。
OpenAI NewsAI 评分2222 用 ChatGPT 打造自定义数学辅导工具
OpenAI 介绍如何基于 ChatGPT 构建自定义数学辅导工具。文章以“ChatGPT 与个性化辅导”为主题，说明 ChatGPT 可用于提供个性化学习辅导。原文未披露具体模型版本、参数规模或可用性细节。
Hugging Face Blog精选AI 评分6262 Mini-R1：用 GRPO 和 Countdown 游戏复现 DeepSeek R1 的 aha moment
Hugging Face 博客发布 Mini-R1 教程，用 GRPO 和 Countdown 游戏在 Qwen2.5-3B-Instruct 上复现 DeepSeek-R1 的 aha moment。
推荐理由：作者用 4 张 H100 复现 DeepSeek-R1 的 aha moment，给出完整脚本与训练观察，可迁移到自己的 RL 实验。
Hugging Face BlogAI 评分4848 如何在 AWS 上部署和微调 DeepSeek 模型
Hugging Face 发布指南，介绍如何在 AWS 上部署和微调 DeepSeek-R1 系列模型。
Hugging Face Blog精选AI 评分6060 Diffusers 团队梳理开源视频生成模型现状与优化方案
Hugging Face Diffusers 团队发布博客，梳理开源视频生成模型现状，并介绍 Diffusers 对 CogVideoX、Mochi-1、HunyuanVideo、LTX-Video 等模型的支持与优化方案。
推荐理由：梳理开源视频生成模型现状与 Diffusers 的显存优化路径，给出可复用的量化与卸载配置。
Hugging Face BlogAI 评分4242 用 KVPress 掌握 LLM 长上下文：NVIDIA 的 KV Cache 压缩工具包
NVIDIA 推出 Python 工具包 KVPress，通过一系列压缩算法降低长上下文 LLM 的 KV Cache 内存占用。以 Llama 3-70B 在 bfloat16 下处理 1M token 为例，KV Cache 需 327.6GB，占约 470GB 总内存的 70%。
Hugging Face BlogAI 评分4545 Hugging Face 推出 TimmWrapper：在 transformers 中使用任意 timm 模型
Hugging Face 发布 TimmWrapper，让任意 timm 视觉模型可直接接入 transformers 生态，支持 pipeline API、Auto 类和 Trainer 微调。该工具可用约 5 行代码通过 BitsAndBytesConfig 完成 8bit 量化，并支持 torch.compile 加速推理与 LoRA 适配器微调，微调后的模型还能回到 timm 使用。
Hugging Face Blog精选AI 评分6262 如何在 PyTorch 中可视化并理解 GPU 显存占用
Hugging Face 博客发布教程，介绍用 torch.cuda.memory._record_memory_history 记录并可视化 PyTorch 训练时的 GPU 显存占用。文章以 Qwen2.5-1.5B 为例拆解模型参数、优化器状态、激活值、梯度和优化器中间值各占多少显存，并给出总显存估算公式和激活值随参数量线性变化的启发式。作者还提供了一个显存估算小工具。
推荐理由：原文用可视化快照拆解训练各阶段显存占用，并给出可复用的显存估算公式与启发式。
Hugging Face BlogAI 评分3838 用 NVIDIA LogitsProcessorZoo 控制语言模型生成
NVIDIA 推出 LogitsProcessorZoo，一组模块化 logits 处理器，可控制序列长度、强制关键短语或引导多选题答案，并与 Hugging Face 的 generate 方法完全兼容。该库通过 pip install logits-processor-zoo 安装，示例基于 meta-llama/Llama-3.2-1B-Instruct 模型演示。
Hugging Face BlogAI 评分2222 在 GCP 第五代 Xeon 上基准测试语言模型性能
Hugging Face 在 Google Cloud 的 N2（第三代 Xeon）与 C4（第五代 Xeon）实例上基准测试了文本嵌入和文本生成两类智能体 AI 负载。
Hugging Face BlogAI 评分2222 LLM 修复自身错误的能力如何？基于 Keras 和 TPU 的聊天机器人竞技场实验
Hugging Face 用 Keras、JAX 和 TPU 搭建了一个聊天机器人竞技场，测试 LLM 能否根据用户的自然语言反馈修正自己生成的代码。实验在 TPU v5e 2x4 上同时加载了 5 个约 8B 参数模型和 3 个约 2B 参数模型，共 7 个 LLM，以 bfloat16 格式运行，通过 Gradio 界面并行对话并随时切换模型。