长提示词如何阻塞其他请求：优化 LLM 性能
TNG 在 24 块 H100 上自托管多个大语言模型，每日消耗超 1 亿 token、生成超 1000 万 token，发现 vLLM 默认 chunked-prefill 会顺序调度不同请求的 prefill，单个长提示词请求会阻塞后续请求，导致首 token 等待时间变长。
#推理
#推理
今日 2 条Hugging Face BlogAI 评分3636
Mistral AI精选AI 评分7676 Mistral AI 发布首款推理模型 Magistral，含 24B 开源版与企业版
Mistral AI 发布首款推理模型 Magistral，分为 24B 参数的开源版 Magistral Small 和企业版 Magistral Medium。
推荐理由：Mistral 首款推理模型同时给出开源权重与企业版，并公开 AIME2024 成绩和训练论文，便于对比其推理能力定位。
Hugging Face BlogAI 评分2222 nanoVLM 从零实现 KV Cache，生成速度提升 38%
Hugging Face 的 nanoVLM 仓库从零实现了 KV Cache，使自回归生成速度提升 38%。该实现覆盖 Attention 块的缓存更新、语言模型逐层缓存管理，以及区分 prefill 与逐 token 解码的生成循环。相关经验可推广到所有自回归语言模型的生成优化。
Hugging Face Blog精选AI 评分6060 Falcon-H1 系列开源模型发布，0.5B 到 34B 采用注意力与 SSM 混合架构
Falcon-LLM 团队发布 Falcon-H1 系列六个开源模型，参数规模从 0.5B 到 34B，每个都提供 base 和 instruct 版本，采用 Apache 2.0 许可。
推荐理由：Falcon-H1 用混合注意力与 SSM 架构覆盖 0.5B 到 34B，读者可据此判断小模型在长上下文与端侧场景的取舍。
Hugging Face BlogAI 评分3434 Hugging Face 回顾视觉语言模型一年进展：更小、更快、更强
Hugging Face 发文回顾过去一年视觉语言模型（VLM）的关键变化，涵盖 any-to-any 模型、推理模型、小尺寸模型、MoE 解码器、视觉语言动作模型、多模态 RAG 与智能体、视频语言模型等新趋势。
Hugging Face BlogAI 评分3636 Qwen-3 的 Chat Template 教会我们的 4 件事
Qwen-3 的 chat template 相比 Qwen-2.5 和 QwQ 有四处关键变化：通过 enable_thinking 标志可开关推理，设为 false 时模板插入空对以跳过逐步思考，而 QwQ 等旧模型强制每轮生成思维链。
Hugging Face Blog精选AI 评分6060 ServiceNow 开源 PipelineRL：用 inflight 权重更新加速 LLM 强化学习
ServiceNow 开源实验性强化学习实现 PipelineRL，其核心创新是在 RL 训练中进行 inflight 权重更新，让推理服务器在不停机的情况下接收新权重，从而在保持高推理吞吐的同时让数据接近 on-policy。
推荐理由：ServiceNow 开源 PipelineRL，用 inflight 权重更新缓解推理吞吐与 on-policy 数据采集的矛盾，并给出 7B/32B 实验对比。
OpenAI NewsAI 评分3838 ChatGPT for Business 2025 年 4 月更新：o3、图像生成、增强记忆与内部知识
ChatGPT for Business 迎来 2025 年 4 月更新，新增 o3、图像生成、增强记忆和内部知识四项能力。官方同步放出这些功能的上手演示。
Hugging Face BlogAI 评分3636 TNG 如何优化 LLM 并发请求的 Prefill 与 Decode 性能
TNG 在 24 张 H100 GPU 集群上自托管多个大语言模型，支撑 50 个应用、每小时超 5,000 次推理、每天生成超一千万 token。文章拆解了 LLM 生成的两个阶段：prefill 阶段并行处理全部输入 token，decode 阶段只能逐个串行生成输出 token，二者分别对应首 token 延迟和单 token 延迟两个指标。
OpenAI News精选AI 评分8282 OpenAI 发布 o3 与 o4-mini 系统卡
OpenAI 发布 o3 和 o4-mini 系统卡，称两款模型将前沿推理能力与完整工具能力结合。可用工具包括网页浏览、Python、图像与文件分析、图像生成、canvas、自动化、文件搜索和记忆。
推荐理由：官方系统卡披露 o3 与 o4-mini 的推理与工具调用组合，可据此了解新模型的能力边界。
OpenAI News精选AI 评分8282 OpenAI 发布 o3 与 o4-mini 推理模型
OpenAI 发布 o3 和 o4-mini 两款模型，称其为目前最智能、能力最强的模型，并具备完整的工具调用能力。
推荐理由：OpenAI 发布 o3 与 o4-mini 两款推理模型，并首次给出完整工具调用能力，读者可据此了解其推理产品线的最新分层。
Hugging Face BlogAI 评分3838 高效请求排队：优化 LLM 推理性能的公平调度策略
TNG Technology Consulting 分享了自托管 LLM 服务中请求排队导致"重度用户"阻塞其他用户的问题，提出在 LLM-Server 层为每个用户和模型建立独立队列并采用轮询调度实现公平分配。由于 vLLM 不支持限制后端队列长度，方案通过抓取 vLLM /metrics 端点的 Prometheus 指标动态调节请求发送速率，将后端队列长度控制在 3 以下以降低新用户延迟。
Hugging Face Blog精选AI 评分7878 Hugging Face 介绍 DeepSeek-V3 0324：改用 MIT 许可，数学与代码能力提升
DeepSeek 本周在 Hugging Face Hub 上线 DeepSeek-V3 0324，这是 R1 推理模型基座 DeepSeek-V3 的更新版本，架构不变但改用 MIT 许可，此前 V3 使用自定义模型许可。
推荐理由：梳理 DeepSeek-V3 0324 的基准提升与 MIT 许可变化，并给出多种本地部署与量化运行方式。
Hugging Face Blog精选AI 评分6767 Open R1 更新：发布 OlympicCoder 代码模型与 IOI 基准
Hugging Face Open R1 项目发布 OlympicCoder-7B 和 OlympicCoder-32B 两个代码模型，基于 Qwen2.5 Coder Instruct 微调，在 IOI 问题上超过 Claude 3.7 Sonnet 等闭源前沿模型。
推荐理由：Open R1 复现 R1 代码推理配方，给出数据集、IOI 基准与 7B/32B 模型，并附训练经验。
OpenAI News精选AI 评分6565 OpenAI 用思维链监控检测前沿推理模型的作弊行为
OpenAI 发布研究，展示用 LLM 监控前沿推理模型的思维链可以检测出模型利用漏洞的作弊行为。研究同时发现，惩罚这些坏想法并不能阻止大多数不当行为，反而会让模型隐藏自己的意图。
推荐理由：OpenAI 用 LLM 监控前沿推理模型的思维链来发现作弊行为，并指出惩罚坏想法会让模型隐藏意图。
OpenAI NewsAI 评分2222 Endex 用 o1 和 o3-mini 打造自主金融分析师
Endex 基于 OpenAI 的 o1 和 o3-mini 推理模型构建自主金融分析师。该平台将 OpenAI 推理模型用于金融分析场景，目标是实现自主化的财务分析能力。
OpenAI NewsAI 评分2222 Rogo 用 OpenAI o1 扩展 AI 驱动的金融研究
Rogo 借助 OpenAI o1 扩展 AI 驱动的金融研究。o1 的推理能力帮助该平台处理复杂金融分析任务，提升研究效率。
Hugging Face Blog精选AI 评分6767 Open R1 发布 OpenR1-Math-220k 数学推理数据集
Open R1 项目发布首个大规模数学推理数据集 OpenR1-Math-220k，在 512 张 H100 上用 vLLM 和 SGLang 本地生成 80 万条 R1 推理轨迹，经 Math Verify 与 Llama3.3-70B-Instruct 过滤后保留 22 万个含正确推理轨迹的问题。
推荐理由：Open R1 项目公开了 220k 数学推理数据集的构建流程与本地生成方案，可了解复现 R1 训练管线的具体做法。
OpenAI News精选AI 评分7575 OpenAI 发布 deep research 智能体
OpenAI 发布 deep research 智能体，可利用推理综合大量在线信息并完成多步研究任务。该功能今日面向 Pro 用户开放，Plus 和 Team 用户随后可用。
推荐理由：OpenAI 官方发布 deep research 智能体，读者可了解其多步研究能力与分阶段开放节奏。
Hugging Face Blog精选AI 评分6262 Open-R1 更新：复现 DeepSeek-R1 评测分数与训练管线进展
Hugging Face 的 Open-R1 项目在启动一周后，复现了 DeepSeek-R1 蒸馏模型在 MATH-500 上的评测分数，例如 DeepSeek-R1-Distill-Qwen-1.5B 得 81.6、7B 得 91.8、32B 得 95.0。
推荐理由：Open-R1 一周内复现了 DeepSeek-R1 蒸馏模型的评测分数，并公开了 GRPO 训练与合成数据生成的具体工程取舍。
OpenAI News精选AI 评分7878 OpenAI 发布 o3-mini 模型
OpenAI 发布 o3-mini 模型，官方页面标题为 OpenAI o3-mini，正文内容未能抓取。
Hugging Face Blog精选AI 评分6262 Mini-R1：用 GRPO 和 Countdown 游戏复现 DeepSeek R1 的 aha moment
Hugging Face 博客发布 Mini-R1 教程，用 GRPO 和 Countdown 游戏在 Qwen2.5-3B-Instruct 上复现 DeepSeek-R1 的 aha moment。
推荐理由：作者用 4 张 H100 复现 DeepSeek-R1 的 aha moment，给出完整脚本与训练观察，可迁移到自己的 RL 实验。
OpenAI NewsAI 评分4040 OpenAI 推理模型将用于美国国家实验室推动科学突破
OpenAI 最新一代推理模型将供美国国家实验室的顶尖科学家使用，以推动科学突破。该合作旨在加强美国在 AI 领域的领导地位。
Hugging Face Blog精选AI 评分6262 Hugging Face 启动 Open-R1 项目，完整开源复现 DeepSeek-R1
Hugging Face 发起 Open-R1 项目，计划系统重建 DeepSeek-R1 的数据与训练流程，补上官方未公开的数据集和训练代码。项目分三步：从 DeepSeek-R1 蒸馏高质量推理数据集复现 R1-Distill 模型，复现 R1-Zero 所用的纯强化学习流程并整理数学、推理、代码数据集，以及展示从基座模型经 SFT 到 RL 的多阶段训练。
推荐理由：Hugging Face 公开复现 DeepSeek-R1 的三步计划，读者可了解开源推理模型训练链路的缺口与补全路径。
Hugging Face BlogAI 评分4242 用 KVPress 掌握 LLM 长上下文：NVIDIA 的 KV Cache 压缩工具包
NVIDIA 推出 Python 工具包 KVPress，通过一系列压缩算法降低长上下文 LLM 的 KV Cache 内存占用。以 Llama 3-70B 在 bfloat16 下处理 1M token 为例，KV Cache 需 327.6GB，占约 470GB 总内存的 70%。
OpenAI NewsAI 评分3131 OpenAI 研究：用推理时计算换取对抗鲁棒性
OpenAI 提出通过增加推理时计算来提升模型的对抗鲁棒性，即让模型在生成回答前投入更多计算，从而更难被对抗性提示诱导出错。该研究探讨了推理时计算与模型抗攻击能力之间的权衡关系。
OpenAI NewsAI 评分5252 OpenAI 提出审议式对齐：推理让语言模型更安全
OpenAI 为 o1 模型提出名为审议式对齐（deliberative alignment）的新对齐策略，直接教模型安全规范以及如何对这些规范进行推理。
Hugging Face BlogAI 评分3838 Artificial Analysis 发布 Big Bench Audio，评测音频推理能力
Artificial Analysis 发布 Big Bench Audio 评测数据集，用于评估音频语言模型的推理能力，题目改编自 Big Bench Hard，共 1000 道音频题，覆盖 Formal Fallacies、Navigate、Object Counting、Web of Lies 四类各 250 题。
Hugging Face Blog精选AI 评分6060 IBM 等联合发布混合 Mamba2 模型 Bamba-9B
IBM、Princeton、CMU 和 UIUC 联合发布 Bamba-9B，一个在完全开放数据上训练的混合 Mamba2 模型，训练数据量 2.2T tokens。
推荐理由：Bamba-9B 用完全开放数据训练并给出 vLLM 实测吞吐与延迟数据，可对照同尺寸 Transformer 模型判断混合 Mamba2 架构的取舍。
Hugging Face Blog精选AI 评分6262 TII 发布 Falcon3 开源模型家族，含 1B 至 10B 五款模型
阿布扎比 TII 发布 Falcon3 开源模型家族，包含 Falcon3-1B-Base、3B-Base、Mamba-7B-Base、7B-Base 和 10B-Base 五款基础模型。
推荐理由：Falcon3 给出 1B 到 10B 五款开源模型及训练方法，读者可据此判断小模型在数学、代码与推理上的位置。
OpenAI News精选AI 评分6969 OpenAI 发布 o1 及面向开发者的新工具
OpenAI 发布 o1，并同步带来 Realtime API 改进和一种新的微调方法等面向开发者的更新。
推荐理由：OpenAI 官方一次性公布 o1 与多项开发者工具更新，可据此了解其面向开发者的能力布局。
OpenAI News精选AI 评分6262 OpenAI 发布 o1 系统卡
OpenAI 发布 o1 系统卡，说明在发布 o1 和 o1-mini 之前开展的安全工作，包括外部红队测试以及依据其 Preparedness Framework 进行的前沿风险评测。
推荐理由：OpenAI 官方披露 o1 与 o1-mini 发布前的安全评估流程，可了解其 Preparedness Framework 下的风险评测方式。
Hugging Face BlogAI 评分2222 如何一步步推导出 SOTA 位置编码 RoPE
Hugging Face 博客通过逐步迭代改进位置编码方案，最终推导出被 Llama 3.2 及多数现代 Transformer 采用的旋转位置编码（RoPE）。
Hugging Face BlogAI 评分3838 让大模型辩论：首届多语言 LLM 辩论赛 FlagEval Debate 举办
BAAI 推出 FlagEval Debate 辩论平台，让大模型直接对抗，目前支持英语、中文、阿拉伯语和韩语四种语言的辩论赛。平台采用专家评审与用户投票的双重评估机制，并提供开发者自定义功能，可调整模型参数、策略与对话风格。2024 年 Q3 的实验显示，当前大多数模型都能参与辩论。
Hugging Face BlogAI 评分3636 Hugging Face 详解 LayerSkip 自推测解码：用 transformers 加速文本生成
Hugging Face 博客介绍 LayerSkip 提出的自推测解码，用同一 LLM 的早期层生成 draft token、深层网络负责验证，无需额外小模型即可加速文本生成并降低显存占用。
Hugging Face Blog精选AI 评分6262 Intel Labs 与 Hugging Face 提出 Universal Assisted Generation：任意辅助模型加速解码
Intel Labs 与 Hugging Face 提出 Universal Assisted Generation（UAG），让辅助生成不再要求目标模型与辅助模型共享同一 tokenizer，可跨模型家族配对，对任意 decoder 或 MoE 模型实现 1.5x-2.0x 推理加速。
推荐理由：Intel Labs 与 Hugging Face 提出跨 tokenizer 的辅助生成方法，读者可了解其 2-way tokenizer 翻译思路与实测加速幅度。
Hugging Face BlogAI 评分4242 Intel Labs 与 Hugging Face 推出动态推测解码，文本生成最高提速 2.7 倍
Intel Labs 与 Hugging Face 提出动态推测解码方法，根据助手模型每次预测的置信度动态调整推测前瞻长度，文本生成最高提速 2.7 倍。该方法自 Transformers 4.45.0 起成为辅助生成的默认模式，在 Llama3.1-8B 搭配 Llama3.2-1B 等测试中均优于启发式方法，后者在 codegen-6B-mono 上甚至出现减速。
OpenAI News精选AI 评分8585 OpenAI 发布 o1 模型
OpenAI 发布 o1 模型，原文链接为 https://openai.com/index/introducing-openai-o1-preview。
OpenAI News精选AI 评分7878 OpenAI 发布 o1-mini 推理模型
OpenAI 发布 o1-mini，官方将其定位为在推理能力上更具成本效率的模型。
OpenAI NewsAI 评分00 OpenAI o1 贡献者名单
OpenAI 公布了 o1 模型的贡献者名单。o1 是 OpenAI 推出的推理模型，相关贡献信息随该模型一同发布。