长提示词如何阻塞其他请求：优化 LLM 性能
TNG 在 24 块 H100 上自托管多个大语言模型，每日消耗超 1 亿 token、生成超 1000 万 token，发现 vLLM 默认 chunked-prefill 会顺序调度不同请求的 prefill，单个长提示词请求会阻塞后续请求，导致首 token 等待时间变长。
全部AI 动态
全部动态
今日 35 条Hugging Face BlogAI 评分3636 Hugging Face BlogAI 评分2222 Featherless AI 成为 Hugging Face Inference Providers 支持的服务商
Featherless AI 现已作为 Inference Provider 接入 Hugging Face Hub，为模型页面提供无服务器推理，并集成 JS 和 Python 客户端 SDK。
Hugging Face BlogAI 评分5858 5 分钟上手 Hugging Face Kernel Hub
Hugging Face 发布 Kernel Hub，让 Python 库和应用通过 kernels 库的 get_kernel 直接从 Hub 加载预编译的优化计算 kernel，无需本地编译。
OpenAI NewsAI 评分2222 OpenAI 与 Mattel 合作，将 AI 引入 Barbie 和 Hot Wheels 等品牌
OpenAI 与 Mattel 达成合作，将 AI 整合进 Barbie、Hot Wheels 等标志性品牌，用于提升创意开发、简化工作流程，并为粉丝创造新的互动方式。
Hugging Face Blog精选AI 评分6262 如何用 LeRobot SO-101 机械臂后训练 Isaac GR00T N1.5
NVIDIA 发布 Isaac GR00T N1.5，这是 Isaac GR00T N1 的首次重大更新，可通过后训练适配特定本体、任务和环境。
推荐理由：原文给出从数据准备到真机部署的完整命令，读者可据此在低成本 SO-101 机械臂上复现微调流程。
Mistral AI精选AI 评分6262 Mistral AI 发布 Mistral Compute AI 基础设施服务
Mistral AI 发布 Mistral Compute，提供从裸金属服务器到全托管 PaaS 的私有集成 AI 基础设施栈，涵盖 GPU、编排、API、产品与服务。
推荐理由：Mistral 从模型厂商延伸到自有 AI 基础设施，读者可据此判断欧洲算力供给格局的新变量。
Hugging Face Blog精选AI 评分6262 Hugging Face 与 NVIDIA 合作推出 Training Cluster as a Service
Hugging Face 与 NVIDIA 在 GTC Paris 上宣布合作推出 Training Cluster as a Service，让全球研究机构更便捷地获取大型 GPU 集群，按训练运行时长付费。
推荐理由：Hugging Face 与 NVIDIA 联合推出按训练时长付费的 GPU 集群服务，读者可了解其申请方式与整合的组件。
Mistral AI精选AI 评分7676 Mistral AI 发布首款推理模型 Magistral，含 24B 开源版与企业版
Mistral AI 发布首款推理模型 Magistral，分为 24B 参数的开源版 Magistral Small 和企业版 Magistral Medium。
推荐理由：Mistral 首款推理模型同时给出开源权重与企业版，并公开 AIME2024 成绩和训练论文，便于对比其推理能力定位。
OpenAI NewsAI 评分3838 OpenAI 推出对外协调漏洞披露政策
OpenAI 发布对外协调漏洞披露政策（Outbound Coordinated Disclosure Policy），规范其如何负责任地报告第三方软件中的漏洞，强调诚信、协作与大规模主动安全。
Hugging Face Blog精选AI 评分6060 Hugging Face 发布 ScreenSuite：面向 GUI Agent 的评测套件
Hugging Face 发布 ScreenSuite，一个面向 GUI Agent 的评测套件，整合 13 项基准，覆盖感知、定位、单步动作和多步智能体四类能力。
推荐理由：Hugging Face 开源 GUI Agent 评测套件，读者可了解其 13 项基准覆盖范围与纯视觉评测设定。
OpenAI News精选AI 评分6262 OpenAI 回应《纽约时报》数据要求，反对无限期保留 ChatGPT 与 API 用户数据
OpenAI 表示正在抗辩一项法院命令，该命令源于《纽约时报》及原告的要求，涉及无限期保留消费者 ChatGPT 和 API 用户数据。OpenAI 称正努力维护用户隐私、满足法律要求并坚持其数据保护承诺。
推荐理由：OpenAI 与《纽约时报》的数据诉讼进入法院命令阶段，读者可了解其用户数据留存争议的立场。
OpenAI NewsAI 评分2222 OpenAI 发布 2025 年 6 月 AI 恶意使用 disruption 报告
OpenAI 发布最新报告，通过案例研究披露其检测和阻止 AI 恶意使用的方式。报告聚焦 OpenAI 如何发现并防范这类滥用行为。
Mistral AI精选AI 评分6060 Mistral AI 发布企业级编码助手 Mistral Code
Mistral AI 发布企业级 AI 编码助手 Mistral Code，整合 Codestral、Codestral Embed、Devstral 和 Mistral Medium 四个模型，支持云端、专属容量或气隙本地 GPU 部署，代码留在企业边界内。
推荐理由：官方给出企业级编码助手的模型组合、部署形态与首批客户，可据此判断私有化编码方案的落地路径。
Hugging Face BlogAI 评分2222 nanoVLM 从零实现 KV Cache，生成速度提升 38%
Hugging Face 的 nanoVLM 仓库从零实现了 KV Cache，使自回归生成速度提升 38%。该实现覆盖 Attention 块的缓存更新、语言模型逐层缓存管理，以及区分 prefill 与逐 token 解码的生成循环。相关经验可推广到所有自回归语言模型的生成优化。
Hugging Face BlogAI 评分2929 Arm CPU 上实时 AI 音效生成：基于 Stable Audio Open 的个人创作工具
Arm 工程师 Michael Gamble 用 Stable Audio Open 模型、PyTorch 和 TorchAudio 打造了一款完全在 Arm CPU 上本地运行的个人音效生成工具，无需 GPU 和云端推理，几秒内即可根据提示词生成 .wav 文件并直接导入 Ableton Live。
Hugging Face Blog精选AI 评分7171 H Company 发布 Holo1 系列 GUI 自动化 VLM 与 WebClick 基准
H Company 发布 Holo1 系列动作视觉语言模型（含 Holo1-3B 与 Holo1-7B）以及 WebClick 多模态定位基准，模型已在 Hugging Face 开源。
推荐理由：Holo1 开源了面向 GUI 自动化的动作 VLM 家族，并给出 WebClick 基准与 Surfer-H 智能体的组合方式，读者可据此评估网页自动化方案的成本与精度取舍。
Hugging Face Blog精选AI 评分6262 TRL 支持 vLLM 共置：训练与推理共享同一批 GPU
Hugging Face 的 TRL 通过 PR #3394 支持 vLLM 的 external launcher，让训练与推理共置在同一批 GPU 上，不再需要单独的 vLLM 服务器进程。
推荐理由：原文给出同卡共置训练与推理的实现方式和多组吞吐对比，读者可据此判断 GRPO 训练的成本变化。
Hugging Face Blog精选AI 评分6262 Hugging Face 发布 SmolVLA：450M 开源视觉-语言-动作模型
Hugging Face 发布 SmolVLA，一个 450M 参数的开源视觉-语言-动作（VLA）模型，可在消费级硬件甚至 CPU 上运行，仅用 lerobot 标签下的社区共享数据集预训练。
推荐理由：450M 的 VLA 模型仅用社区数据预训练就能在仿真和真机上超过更大模型，读者可据此判断开源机器人模型的成本门槛。
OpenAI NewsAI 评分4242 OpenAI 封禁与中国相关网络行动关联的账号
OpenAI 封禁了一批与公开归因于中国的威胁行为者相关的账号，这些账号利用 AI 辅助漏洞研究、脚本编写、翻译和行动排障。
OpenAI NewsAI 评分4040 OpenAI 封禁利用 AI 生成菲律宾政治评论的账号
OpenAI 封禁了一批利用 AI 在多个社交平台生成菲律宾政治及公职人员相关评论的账号。该行动代号为 "High Five"，针对的是将 AI 用于政治舆论操纵的账号。
OpenAI NewsAI 评分5858 OpenAI 封禁利用 AI 生成美国政治内容的中国来源账号
OpenAI 封禁了一批中国来源账号，这些账号使用 AI 生成美国政治内容，并用于研究人物、运动和在线社群。该行动被命名为 Operation “Uncle Spam”，指向美国政治极化相关的舆论影响活动。
OpenAI NewsAI 评分4242 OpenAI 封禁疑似源自柬埔寨的 AI 辅助任务诈骗账号
OpenAI 封禁了一批疑似源自柬埔寨的账号，这些账号利用 AI 支持针对英国用户的任务诈骗流程。
OpenAI NewsAI 评分4040 OpenAI 封禁利用 AI 生成针对台湾网红及美国话题批评帖文的账号
OpenAI 封禁了一批利用 AI 生成帖文、批评一名台湾社交媒体网红及相关美国话题的账号。该行动被命名为“Sneer Review”，指向中国来源的影响力活动。
OpenAI NewsAI 评分4242 OpenAI 封禁与伊朗相关 STORM-2035 影响力行动关联账号
OpenAI 封禁了一批与疑似伊朗关联的 STORM-2035 行动有关的账号，该行动利用 AI 生成针对美国、英国、爱尔兰和委内瑞拉政治的影响力内容。
OpenAI NewsAI 评分3838 OpenAI 封禁利用 AI 开发恶意软件的俄语账号
OpenAI 封禁了一批俄语账号，这些账号利用 AI 构建恶意软件、改进加载器并排查网络工具问题。此次行动代号 "ScopeCreep"，针对的是俄语恶意软件开发活动。
OpenAI NewsAI 评分3838 OpenAI 封禁利用 AI 伪造远程求职材料的欺诈就业账号
OpenAI 封禁了一批与疑似欺诈就业活动相关的账号，这些账号利用 AI 生成远程职位申请材料。OpenAI 称相关活动涉嫌以欺骗性手段获取就业机会。
OpenAI News精选AI 评分6060 OpenAI 封禁利用 AI 进行社会工程与影响力行动的账号
OpenAI 封禁了一批利用 AI 从事社会工程、监控主题研究和针对批评者的影响力行动的账号。该行动代号为 Operation VAGue Focus。
推荐理由：OpenAI 披露封禁账号的三类滥用场景，可了解平台对 AI 社会工程与影响力行动的处置边界。
OpenAI NewsAI 评分3838 OpenAI 封禁利用 AI 生成德语政治内容的俄罗斯相关账号
OpenAI 封禁了一批疑似源自俄罗斯的账号，这些账号利用 AI 生成德语政治内容，涉及乌克兰、NATO 及德国国内议题。
OpenAI NewsAI 评分2222 Wix 的 AI Website Builder 借助 OpenAI，几分钟内对话生成完整网站
Wix 的 AI Website Builder 由 OpenAI 提供支持，用户只需在对话中描述想法，即可在几分钟内创建完整网站。
Mistral AI精选AI 评分6262 Mistral AI 发布代码嵌入模型 Codestral Embed
Mistral AI 发布首个面向代码的嵌入模型 Codestral Embed，官方称其在真实代码检索场景中明显优于 Voyage Code 3、Cohere Embed v4.0 和 OpenAI 的大嵌入模型。
推荐理由：官方给出代码嵌入模型与三家竞品的对比，以及维度与精度可调的取舍方式，便于评估检索成本。
Hugging Face Blog精选AI 评分6262 Hugging Face 研究：结构化 CodeAgent 让智能体动作执行更可靠
Hugging Face 分享研究，将 CodeAgent 的思考与代码强制以结构化 JSON 生成，在 GAIA、MATH、SimpleQA、Frames 等基准上比普通 CodeAgent 平均高出 2-7 个百分点。
推荐理由：通过 15724 条 agent trace 量化解析错误对成功率的影响，并给出结构化 CodeAgent 的适用模型门槛。
Mistral AI精选AI 评分7272 Mistral 发布 Agents API，内置连接器与 MCP 工具
Mistral 发布 Agents API，将自家语言模型与代码执行、图像生成、文档库、web search 等内置连接器及 MCP 工具结合，并提供跨对话的持久记忆与智能体编排能力。
推荐理由：官方给出 Agents API 的连接器、记忆与多智能体编排能力，以及带 web search 的 SimpleQA 对比数据，可据此判断企业级智能体平台的落地方式。
Hugging Face BlogAI 评分1010 Liger GRPO 与 TRL 集成：Qwen2.5-0.5B-Instruct 在 DeepSpeed ZeRO3 下报形状不匹配
用户反馈在 TRL 中使用 Liger GRPO loss 配合 DeepSpeed ZeRO3 训练 Qwen/Qwen2.5-0.5B-Instruct（bf16）时出现形状不匹配错误，报错栈指向 liger_kernel 的 chunked_loss/grpo_loss.py 与 fused_linear_ppo.py。
Hugging Face Blog精选AI 评分6262 Hugging Face 发布 Python Tiny Agents：约 70 行代码实现 MCP 智能体
Hugging Face 在 huggingface_hub 中新增 MCPClient，并基于它实现 Python 版 Tiny Agents，用约 70 行代码即可搭建连接 MCP 服务器的智能体。
推荐理由：原文给出约 70 行 Python 代码实现 MCP 智能体的完整方法，读者可据此复用并接入自有工具。
OpenAI NewsAI 评分4242 OpenAI o3 Operator：Operator 底层模型由 GPT-4o 换成 o3
OpenAI 将 Operator 的底层模型从 GPT-4o 版本替换为基于 OpenAI o3 的版本，API 版本仍基于 4o。该变动作为 OpenAI o3 与 o4-mini 系统卡增补内容公布。
Hugging Face BlogAI 评分3434 Dell Enterprise Hub 新版发布：在本地 Dell AI 服务器与 AI PC 上构建 AI
Dell 在 Dell Tech World 上发布新版 Dell Enterprise Hub，提供可直接部署的模型与应用目录，支持 Meta Llama 4 Maverick。
OpenAI NewsAI 评分2525 CodeRabbit 用 o3、o4-mini 和 GPT-4.1 加速代码交付
CodeRabbit 采用 OpenAI 的 o3、o4-mini 和 GPT-4.1 模型改造代码审查流程，提升准确率并加快 PR 合并速度。该方案帮助开发者更快交付代码，减少 bug 并提高投资回报率。
OpenAI News精选AI 评分6060 OpenAI 推出 Stargate UAE，首次在海外部署 AI 基础设施平台
OpenAI 宣布推出 Stargate UAE，这是其 AI 基础设施平台 Stargate 的首次国际部署。
推荐理由：OpenAI 首次把 Stargate 基础设施平台部署到美国以外，读者可据此观察其算力布局的国际化节奏。
Mistral AI精选AI 评分7676 Mistral AI 发布编码智能体模型 Devstral，Apache 2.0 开源
Mistral AI 与 All Hands AI 合作发布面向软件工程任务的智能体模型 Devstral，在 SWE-Bench Verified 上得分 46.8%，比此前开源 SOTA 模型高出 6 个百分点以上，并以 Apache 2.0 许可开源。
推荐理由：Mistral 与 All Hands AI 联合发布开源编码智能体模型，给出 SWE-Bench Verified 分数与本地部署门槛，便于判断其可用性。
Hugging Face Blog精选AI 评分6060 Falcon-H1 系列开源模型发布，0.5B 到 34B 采用注意力与 SSM 混合架构
Falcon-LLM 团队发布 Falcon-H1 系列六个开源模型，参数规模从 0.5B 到 34B，每个都提供 base 和 instruct 版本，采用 Apache 2.0 许可。
推荐理由：Falcon-H1 用混合注意力与 SSM 架构覆盖 0.5B 到 34B，读者可据此判断小模型在长上下文与端侧场景的取舍。