TNG 如何优化 LLM 并发请求的 Prefill 与 Decode 性能
TNG 在 24 张 H100 GPU 集群上自托管多个大语言模型，支撑 50 个应用、每小时超 5,000 次推理、每天生成超一千万 token。文章拆解了 LLM 生成的两个阶段：prefill 阶段并行处理全部输入 token，decode 阶段只能逐个串行生成输出 token，二者分别对应首 token 延迟和单 token 延迟两个指标。
全部AI 动态
全部动态
今日 36 条Hugging Face BlogAI 评分3636 OpenAI News精选AI 评分8282 OpenAI 发布 o3 与 o4-mini 系统卡
OpenAI 发布 o3 和 o4-mini 系统卡，称两款模型将前沿推理能力与完整工具能力结合。可用工具包括网页浏览、Python、图像与文件分析、图像生成、canvas、自动化、文件搜索和记忆。
推荐理由：官方系统卡披露 o3 与 o4-mini 的推理与工具调用组合，可据此了解新模型的能力边界。
OpenAI News精选AI 评分8282 OpenAI 发布 o3 与 o4-mini 推理模型
OpenAI 发布 o3 和 o4-mini 两款模型，称其为目前最智能、能力最强的模型，并具备完整的工具调用能力。
推荐理由：OpenAI 发布 o3 与 o4-mini 两款推理模型，并首次给出完整工具调用能力，读者可据此了解其推理产品线的最新分层。
Hugging Face BlogAI 评分3030 Gradio 不只是 UI 库：17 个理由解析其 AI 应用框架能力
Hugging Face 发文列举 Gradio 的 17 项特性，说明它不只是 Python UI 库，而是同时提供 UI 与 API 的机器学习应用框架。
Hugging Face BlogAI 评分3939 Hugging Face 发布 HELMET：全面评估长上下文语言模型
Hugging Face 发布 HELMET 基准，用于全面评估长上下文语言模型，覆盖多样性、可控性与可靠性，已评测 59 个近期 LCLM。该基准指出困惑度和 NIAH 等合成任务与真实下游表现相关性差，复杂合成任务（如 RULER MV）相关性更高，并已被 Microsoft Phi-4 和 AI21 Jamba 1.6 采用。
Hugging Face BlogAI 评分2222 Cohere 成为 Hugging Face Inference Providers 支持的首个模型厂商
Cohere 正式接入 Hugging Face Inference Providers，成为首个直接在 HF Hub 上分享并托管自家模型的模型厂商。
OpenAI NewsAI 评分2020 OpenAI 公布非营利委员会四位顾问
OpenAI 任命四位新顾问，为其慈善事业提供建议。该委员会旨在为 OpenAI 的非营利公益方向提供指导。
OpenAI NewsAI 评分4040 OpenAI 更新 Preparedness Framework，评估与防范前沿 AI 严重危害
OpenAI 发布更新版 Preparedness Framework，用于衡量并防范前沿 AI 能力带来的严重危害。该框架聚焦前沿 AI 能力的风险评估与防护措施。
OpenAI News精选AI 评分8080 OpenAI 在 API 中推出 GPT-4.1 系列模型
OpenAI 在 API 中推出 GPT-4.1 系列模型，官方称其在编码、指令遵循和长上下文理解方面均有提升。该系列同时包含 OpenAI 首个 nano 模型，即日起面向全球开发者开放。
推荐理由：OpenAI 在 API 上线 GPT-4.1 系列并首次推出 nano 版本，读者可据此了解模型家族的能力变化与可用范围。
Hugging Face BlogAI 评分4040 Protect AI 与 Hugging Face 合作半年：扫描 447 万个模型版本，发现 35.2 万个安全问题
Protect AI 与 Hugging Face 合作半年，截至 2025 年 4 月 1 日已扫描 Hugging Face Hub 上 141 万个仓库中的 447 万个模型版本，在 5.17 万个模型中识别出 35.2 万个不安全或可疑问题。
Hugging Face Blog精选AI 评分6262 Hugging Face 收购 Pollen Robotics，开卖开源人形机器人 Reachy 2
Hugging Face 宣布收购开源机器人公司 Pollen Robotics，这是其第五次收购，此前曾收购 Gradio 和 XetHub。
推荐理由：Hugging Face 收购 Pollen Robotics 并开卖开源人形机器人，读者可了解其机器人布局与 Reachy 2 的定位。
Hugging Face BlogAI 评分3636 Visual Salamandra 发布：将 7B 多模态理解扩展至图像与视频
Language Technologies Lab 发布 Visual Salamandra，将 Salamandra 大语言模型扩展至图像和视频，基于 7B 基础模型，集成 Google SigLIP-So400m 编码器与 2 层 MLP projector，采用四阶段训练和 late-fusion 架构。
OpenAI NewsAI 评分3333 OpenAI 发布 BrowseComp：面向浏览智能体的基准测试
OpenAI 推出 BrowseComp，一个面向浏览智能体（browsing agents）的基准测试。该基准用于评估智能体在浏览任务上的表现，具体评测指标与可用性细节尚未在原文中披露。
Mistral AIAI 评分3030 Mistral 如何用 LLM as a Judge 评估 RAG 系统
Mistral 提出用 LLM as a Judge 评估 RAG 系统，由 judge LLM 按数值、二元或定性量表为 generator LLM 的回答打分，再对评测数据集取平均得到加权总分。
Hugging Face BlogAI 评分4545 Hugging Face 与 Cloudflare 合作，用 FastRTC 实现实时语音与视频无缝传输
Hugging Face 与 Cloudflare 达成合作，让 FastRTC 开发者凭 Hugging Face token 即可接入 Cloudflare 覆盖 335 多个地点的全球 TURN 网络。
Hugging Face BlogAI 评分2222 Hugging Face 联合 MBZUAI 推出阿拉伯语评测榜单，新增指令遵循基准并更新 AraGen
Hugging Face 与 MBZUAI 合作上线 Arabic-Leaderboards Space，统一收录阿拉伯语 AI 评测，目前包含 AraGen-03-25 和阿拉伯语指令遵循两个榜单。
OpenAI NewsAI 评分2222 OpenAI 发布欧盟经济蓝图
OpenAI 发布欧盟经济蓝图，提出一套政策建议，旨在帮助欧洲把握人工智能机遇、推动区域可持续经济增长，并确保 AI 由欧洲开发、在欧洲部署、为欧洲服务。
OpenAI NewsAI 评分2222 Canva 如何用 AI 释放创造力
Canva 联合创始人兼首席产品官 Cameron Adams 与 OpenAI 对话，讲述 Canva 如何借助 AI 赋能创意设计。
Hugging Face Blog精选AI 评分8888 Llama 4 Maverick 与 Scout 上线 Hugging Face
Meta 发布 Llama 4 Maverick（约 400B 总参数）和 Llama 4 Scout（约 109B 总参数），两者均为 17B 激活参数的 MoE 模型，原生支持多模态，已在 Hugging Face Hub 上线。
推荐理由：Hugging Face 官方给出 Llama 4 两款 MoE 模型的参数、上下文长度与架构细节，可据此判断部署门槛。
Hugging Face BlogAI 评分2222 Gradio 月活用户突破 100 万：Hugging Face 分享五年增长经验
Gradio 月活开发者已超过 100 万，成为 Automatic1111、Text Generation WebUI、Dall-E Mini、LLaMA-Factory 等热门开源项目的界面方案。
Hugging Face BlogAI 评分3030 Hugging Face 的 NLP Course 升级更名为 LLM Course
Hugging Face 将已有 3 年历史的 NLP Course 更名为 LLM Course，并新增微调 LLM、构建 DeepSeek R1 等推理模型的章节。
Hugging Face BlogAI 评分3838 高效请求排队：优化 LLM 推理性能的公平调度策略
TNG Technology Consulting 分享了自托管 LLM 服务中请求排队导致"重度用户"阻塞其他用户的问题，提出在 LLM-Server 层为每个用户和模型建立独立队列并采用轮询调度实现公平分配。由于 vLLM 不支持限制后端队列长度，方案通过抓取 vLLM /metrics 端点的 Prometheus 指标动态调节请求发送速率，将后端队列长度控制在 3 以下以降低新用户延迟。
OpenAI NewsAI 评分1818 OpenAI 成立新委员会，助力打造全球装备最完善的非营利组织
OpenAI 宣布成立新委员会，为其打造全球装备最完善的非营利组织提供洞察。OpenAI 本身已是非营利组织，并已用 AI 帮助人们解决难题，目标是结合潜在历史性财务资源与可扩展人类创造力的技术。
OpenAI NewsAI 评分3535 OpenAI 发布 PaperBench：评估 AI 智能体复现前沿 AI 研究的能力
OpenAI 推出 PaperBench，用于评估 AI 智能体复现前沿 AI 研究的能力。该基准衡量智能体能否从零复现最先进的 AI 研究成果。
OpenAI NewsAI 评分2222 OpenAI 就英国版权咨询提交回应建议
OpenAI 就英国版权咨询提交回应，提出有利于创新的政策建议，目标是帮助英国成为欧洲的 AI 之都。
OpenAI News精选AI 评分7575 OpenAI 完成 400 亿美元融资，投后估值 3000 亿美元
OpenAI 宣布获得 400 亿美元新融资，投后估值 3000 亿美元。资金将用于推进 AI 研究前沿、扩展算力基础设施，并为每周使用 ChatGPT 的 5 亿人提供更强的工具。
推荐理由：OpenAI 公布 400 亿美元融资与 3000 亿美元投后估值，读者可据此了解其算力扩张与 ChatGPT 用户规模。
Hugging Face BlogAI 评分2020 Hugging Face 如何用 Infisical 扩展 AI 基础设施的密钥管理
Hugging Face 将密钥管理从 AWS 单云方案迁移至 Infisical，以应对多云环境下的 secret sprawl、权限管理和手动轮换难题。团队通过 Infisical Kubernetes Operator 自动同步密钥更新，并借助 Okta 集成实现细粒度 RBAC，同时用 CLI 替代本地 .env 文件。
Hugging Face BlogAI 评分3838 Hugging Face 将 Intel Gaudi 支持原生集成进 TGI
Hugging Face 通过 PR #3091 将 Intel Gaudi 硬件支持原生集成进 TGI 主代码库，不再需要维护独立的 tgi-gaudi 分支。
OpenAI NewsAI 评分1515 OpenAI：从基于意图的机器人转向主动式 AI 智能体
OpenAI 提出从基于意图的机器人转向主动式 AI 智能体。原文未披露具体模型版本、参数规模或可用性信息。
Hugging Face Blog精选AI 评分7878 Hugging Face 介绍 DeepSeek-V3 0324：改用 MIT 许可，数学与代码能力提升
DeepSeek 本周在 Hugging Face Hub 上线 DeepSeek-V3 0324，这是 R1 推理模型基座 DeepSeek-V3 的更新版本，架构不变但改用 MIT 许可，此前 V3 使用自定义模型许可。
推荐理由：梳理 DeepSeek-V3 0324 的基准提升与 MIT 许可变化，并给出多种本地部署与量化运行方式。
OpenAI NewsAI 评分1515 OpenAI 谈通往 AGI 路上的安全建设
OpenAI 发文阐述其在通往 AGI 道路上的安全思路，强调主动适应，并将全面的安全措施直接构建进基础设施与模型之中。
Hugging Face BlogAI 评分3434 如何用 Sentence Transformers 训练和微调 Reranker 模型
Sentence Transformers 库可微调 reranker（Cross Encoder）模型，使其在自有数据上超越现有方案，也能从零训练新模型。
OpenAI News精选AI 评分7575 OpenAI 在 GPT-4o 中推出原生图像生成
OpenAI 在 GPT-4o 中引入原生图像生成能力，并提升了文本渲染和指令跟随表现。该发布同时指向 ChatGPT Images 2.5。
推荐理由：GPT-4o 原生图像生成上线，文本渲染与指令跟随能力提升，可据此判断多模态生成的新基线。
OpenAI News精选AI 评分6262 OpenAI 发布 GPT-4o 系统卡增补：4o 图像生成
OpenAI 发布 GPT-4o 系统卡增补，介绍 4o 图像生成。该能力比此前的 DALL·E 3 系列模型显著更强，可生成照片级写实输出，也能接收图像作为输入并对其进行变换。
推荐理由：GPT-4o 图像生成系统卡增补说明，交代了它相对 DALL·E 3 的能力变化与图像输入输出方式。
OpenAI NewsAI 评分2222 Hebbia 借助 OpenAI 模型实现 90% 金融与法律工作自动化
Hebbia 的深度研究产品可自动化 90% 的金融与法律工作，由 OpenAI 模型提供支持。
OpenAI NewsAI 评分2222 OpenAI 领导层更新
OpenAI 宣布领导层更新。OpenAI 表示公司规模已大幅扩张，但仍聚焦于加速人类进步的前沿 AI 研究，同时其产品已服务数亿用户。
Hugging Face BlogAI 评分2222 Gradio 发布全新 gr.Dataframe 组件更新
Gradio 为 gr.Dataframe 组件发布大规模更新，6 周内关闭超 70 个 dataframe 相关问题。新增多单元格选择、行号与列固定（pinned_columns）、复制与全屏按钮、搜索（show_search="search"）与筛选（"filter"）、静态列（static_columns）等功能，并升级键盘导航与 styler 样式参数。
OpenAI NewsAI 评分3838 OpenAI 与 MIT Media Lab 合作研究 ChatGPT 情感使用与情绪健康
OpenAI 与 MIT Media Lab 开展研究合作，探索 ChatGPT 情感使用与情绪健康的早期研究方法。
Hugging Face BlogAI 评分2020 Hugging Face 更新 Inference Endpoints 分析面板：实时指标、自定义时间范围与副本生命周期视图
Hugging Face 为 Inference Endpoints 的分析面板推出更新，指标数据改为实时更新，并重构后端以加快高流量端点的数据加载。新面板支持自定义时间范围与自动刷新，还新增副本生命周期视图，可追踪每个副本从初始化到终止的每次状态转换。官方表示仍在持续迭代并欢迎用户反馈。
OpenAI NewsAI 评分2222 Booking.com 如何用 OpenAI LLM 实现大规模旅行个性化
Booking.com 将自身数据系统与 OpenAI 的 LLM 集成，用于提供更智能的搜索、更快的客服支持和意图驱动的旅行体验。