Hugging Face 公布 NeurIPS 2025 E2LM 竞赛：面向大语言模型早期训练评估
Hugging Face 上线 NeurIPS 2025 E2LM 竞赛，征集能在大语言模型早期训练阶段（约 200B tokens 以内）有效区分科学知识信号的评测基准。
全部AI 动态
全部动态
今日 2 条Hugging Face BlogAI 评分2222
OpenAI NewsAI 评分3838 OpenAI 研究错误回答训练如何导致模型失准泛化
OpenAI 研究发现，用错误回答训练语言模型会引发更广泛的失准行为，并识别出驱动这一行为的内部特征，该特征可通过极少量微调逆转。
Hugging Face Blog精选AI 评分6060 Hugging Face 发布 ScreenSuite：面向 GUI Agent 的评测套件
Hugging Face 发布 ScreenSuite，一个面向 GUI Agent 的评测套件，整合 13 项基准，覆盖感知、定位、单步动作和多步智能体四类能力。
推荐理由：Hugging Face 开源 GUI Agent 评测套件，读者可了解其 13 项基准覆盖范围与纯视觉评测设定。
Hugging Face Blog精选AI 评分6262 Hugging Face 研究：结构化 CodeAgent 让智能体动作执行更可靠
Hugging Face 分享研究，将 CodeAgent 的思考与代码强制以结构化 JSON 生成，在 GAIA、MATH、SimpleQA、Frames 等基准上比普通 CodeAgent 平均高出 2-7 个百分点。
推荐理由：通过 15724 条 agent trace 量化解析错误对成功率的影响，并给出结构化 CodeAgent 的适用模型门槛。
OpenAI NewsAI 评分3838 OpenAI 发布 HealthBench：面向医疗 AI 的评估基准
OpenAI 发布医疗 AI 评估基准 HealthBench，用于在真实场景中评测模型表现。该基准由 250 多名医生参与构建，旨在为医疗领域模型性能与安全性提供统一标准。
Hugging Face BlogAI 评分3939 Hugging Face 发布 HELMET：全面评估长上下文语言模型
Hugging Face 发布 HELMET 基准，用于全面评估长上下文语言模型，覆盖多样性、可控性与可靠性，已评测 59 个近期 LCLM。该基准指出困惑度和 NIAH 等合成任务与真实下游表现相关性差，复杂合成任务（如 RULER MV）相关性更高，并已被 Microsoft Phi-4 和 AI21 Jamba 1.6 采用。
OpenAI NewsAI 评分3333 OpenAI 发布 BrowseComp：面向浏览智能体的基准测试
OpenAI 推出 BrowseComp，一个面向浏览智能体（browsing agents）的基准测试。该基准用于评估智能体在浏览任务上的表现，具体评测指标与可用性细节尚未在原文中披露。
Hugging Face BlogAI 评分2222 Hugging Face 联合 MBZUAI 推出阿拉伯语评测榜单，新增指令遵循基准并更新 AraGen
Hugging Face 与 MBZUAI 合作上线 Arabic-Leaderboards Space，统一收录阿拉伯语 AI 评测，目前包含 AraGen-03-25 和阿拉伯语指令遵循两个榜单。
OpenAI NewsAI 评分3535 OpenAI 发布 PaperBench：评估 AI 智能体复现前沿 AI 研究的能力
OpenAI 推出 PaperBench，用于评估 AI 智能体复现前沿 AI 研究的能力。该基准衡量智能体能否从零复现最先进的 AI 研究成果。
OpenAI NewsAI 评分3838 OpenAI 与 MIT Media Lab 合作研究 ChatGPT 情感使用与情绪健康
OpenAI 与 MIT Media Lab 开展研究合作，探索 ChatGPT 情感使用与情绪健康的早期研究方法。
Hugging Face Blog精选AI 评分6767 LeRobot 与 Yaak 发布全球最大开源自动驾驶数据集 L2D
Hugging Face 的 LeRobot 团队与 Yaak 联合发布 L2D，号称全球最大的开源自动驾驶数据集，包含 90+ TB 多模态数据、5000+ 小时驾驶记录，来自德国 30 个城市的 60 辆驾校电动车。
推荐理由：L2D 以 90TB 多模态驾驶数据补齐端到端自动驾驶训练集缺口，并给出 LeRobot 接入方式与分阶段发布计划。
OpenAI News精选AI 评分6565 OpenAI 用思维链监控检测前沿推理模型的作弊行为
OpenAI 发布研究，展示用 LLM 监控前沿推理模型的思维链可以检测出模型利用漏洞的作弊行为。研究同时发现，惩罚这些坏想法并不能阻止大多数不当行为，反而会让模型隐藏自己的意图。
推荐理由：OpenAI 用 LLM 监控前沿推理模型的思维链来发现作弊行为，并指出惩罚坏想法会让模型隐藏意图。
OpenAI News精选AI 评分6060 OpenAI 发布 SWE-Lancer 基准
OpenAI 发布 SWE-Lancer 基准，用于测试前沿 LLM 能否完成真实世界的自由职业软件工程任务并赚取 100 万美元。该基准以真实报酬的软件工程任务为评测对象。
推荐理由：OpenAI 推出面向真实自由职业软件工程任务的基准，读者可了解前沿 LLM 在真实报酬任务上的表现。
Hugging Face Blog精选AI 评分6262 Hugging Face 用 Math-Verify 重评 Open LLM Leaderboard 全部 3751 个模型
Hugging Face 用 Math-Verify 替换旧评测器，重新评估了 Open LLM Leaderboard 上提交过的全部 3751 个模型。旧评测器因答案格式、SymPy 解析和比较环节的问题把正确答案判错，新方案平均让模型多解出 61 道题、整体提升 4.66 分，Algebra 与 Prealgebra 子集分别提升 8.27 和 6.93 分。
推荐理由：原文给出旧评测器失效的具体案例和重评后的分数变化，可据此判断数学评测口径对榜单排名的影响。
Hugging Face Blog精选AI 评分6767 Open R1 发布 OpenR1-Math-220k 数学推理数据集
Open R1 项目发布首个大规模数学推理数据集 OpenR1-Math-220k，在 512 张 H100 上用 vLLM 和 SGLang 本地生成 80 万条 R1 推理轨迹，经 Math Verify 与 Llama3.3-70B-Instruct 过滤后保留 22 万个含正确推理轨迹的问题。
推荐理由：Open R1 项目公开了 220k 数学推理数据集的构建流程与本地生成方案，可了解复现 R1 训练管线的具体做法。
Hugging Face BlogAI 评分3838 Adyen 与 Hugging Face 发布 DABstep：多步推理数据智能体基准
Adyen 与 Hugging Face 联合发布 DABstep，一个面向多步推理的数据智能体基准，包含 450+ 个源自 Adyen 真实业务的数据分析任务。最强推理型智能体在该基准上仅取得 16% 准确率，凸显当前模型在复杂数据分析上的差距。任务结合结构化与非结构化数据，采用二元事实性评测，仅需代码执行环境即可运行并提交排行榜。
OpenAI NewsAI 评分3131 OpenAI 研究：用推理时计算换取对抗鲁棒性
OpenAI 提出通过增加推理时计算来提升模型的对抗鲁棒性，即让模型在生成回答前投入更多计算，从而更难被对抗性提示诱导出错。该研究探讨了推理时计算与模型抗攻击能力之间的权衡关系。
Hugging Face BlogAI 评分3434 Hugging Face Open LLM Leaderboard 分析：模型推理的 CO₂ 排放与性能表现
Hugging Face 在 Open LLM Leaderboard 中引入 CO₂ 排放估算，基于 2024 年 6 月以来对 3000 多个模型的评测数据，分析了 2742 个模型的推理碳排放与性能关系。
OpenAI NewsAI 评分5252 OpenAI 提出审议式对齐：推理让语言模型更安全
OpenAI 为 o1 模型提出名为审议式对齐（deliberative alignment）的新对齐策略，直接教模型安全规范以及如何对这些规范进行推理。
Hugging Face BlogAI 评分3838 Artificial Analysis 发布 Big Bench Audio，评测音频推理能力
Artificial Analysis 发布 Big Bench Audio 评测数据集，用于评估音频语言模型的推理能力，题目改编自 Big Bench Hard，共 1000 道音频题，覆盖 Formal Fallacies、Navigate、Object Counting、Web of Lies 四类各 250 题。
Hugging Face BlogAI 评分3838 Hugging Face 与 Entalpic 联合发布开源材料发现项目 LeMaterial
Hugging Face 与 Entalpic 联合推出开源协作项目 LeMaterial，并首发数据集 LeMat-Bulk，将 Materials Project、Alexandria 和 OQMD 三大材料数据库统一为标准格式，含 6.7M 条数据、7 种材料属性，采用 CC-BY-4.0 许可。
Hugging Face BlogAI 评分3434 Hugging Face 社区发布文本到图像生成开放偏好数据集
Hugging Face 的 Data is Better Together 社区发布 Apache 2.0 许可的文本到图像偏好数据集，覆盖多种图像生成类别并混合不同模型家族与提示词复杂度。数据集基于 Flux 和 Stable Diffusion 模型生成图像，配套提供 flux-dev-lora-finetune 微调模型及 GitHub 上的预处理与后处理代码。
OpenAI News精选AI 评分6262 OpenAI 发布 o1 系统卡
OpenAI 发布 o1 系统卡，说明在发布 o1 和 o1-mini 之前开展的安全工作，包括外部红队测试以及依据其 Preparedness Framework 进行的前沿风险评测。
推荐理由：OpenAI 官方披露 o1 与 o1-mini 发布前的安全评估流程，可了解其 Preparedness Framework 下的风险评测方式。
Hugging Face BlogAI 评分2222 Hugging Face 推出 AraGen：基于 3C3H 的阿拉伯语 LLM 生成式评测基准与榜单
Hugging Face 发布面向阿拉伯语 LLM 的生成式任务基准与榜单 AraGen，采用新的 3C3H 评测指标，从正确性、完整性、简洁性、有用性、诚实性和无害性六个维度由 LLM-as-judge 打分。
Hugging Face BlogAI 评分3838 让大模型辩论：首届多语言 LLM 辩论赛 FlagEval Debate 举办
BAAI 推出 FlagEval Debate 辩论平台，让大模型直接对抗，目前支持英语、中文、阿拉伯语和韩语四种语言的辩论赛。平台采用专家评审与用户投票的双重评估机制，并提供开发者自定义功能，可调整模型参数、策略与对话风格。2024 年 Q3 的实验显示，当前大多数模型都能参与辩论。
OpenAI NewsAI 评分3131 OpenAI 推出 SimpleQA 事实性基准
OpenAI 发布名为 SimpleQA 的事实性基准，用于衡量语言模型回答简短事实型问题的能力。该基准聚焦短小、寻求事实的提问场景，评估模型的事实准确性。
OpenAI NewsAI 评分3838 OpenAI 简化并稳定连续时间一致性模型，两步采样媲美扩散模型
OpenAI 对连续时间一致性模型做了简化、稳定化和规模化，仅需两步采样即可达到与领先扩散模型相当的样本质量。
Hugging Face BlogAI 评分2222 CinePile 2.0：用对抗式数据集精炼打造更强的长视频问答数据集
Hugging Face 发布 CinePile 2.0 长视频问答数据集，采用其提出的对抗式数据集精炼方法进行改进。CinePile 初版于 2024 年 5 月推出，包含约 30 万训练样本和 5000 测试样本，人类在该基准上比最好的商业视觉模型高 25%、比开源模型高 65%。CinePile 2.0 与 Hugging Face 合作完成，同时开源了对抗式精炼方法的实现。
OpenAI NewsAI 评分2222 OpenAI 评估 ChatGPT 的公平性
OpenAI 分析了 ChatGPT 如何根据用户姓名作出不同回应，并借助 AI 研究助手保护隐私。该评估聚焦 ChatGPT 的公平性问题。
OpenAI NewsAI 评分3131 OpenAI 发布 MLE-bench：评估 AI 智能体的机器学习工程能力
OpenAI 推出 MLE-bench，用于衡量 AI 智能体在机器学习工程任务上的表现。该基准测试评估智能体完成机器学习工程工作的能力。
Hugging Face BlogAI 评分3434 Hugging Face 推出 Open FinLLM Leaderboard，面向金融场景评测大语言模型
Hugging Face 发布 Open FinLLM Leaderboard，专门评测大语言模型在金融任务上的表现，覆盖信息抽取、文本分析、问答、文本生成、风险管理、预测和决策七大类。该榜单采用零样本评测，使用 Accuracy、F1、ROUGE 和 MCC 等指标，数据集聚焦真实金融场景，如信用评分、欺诈检测和股价走势预测。
Hugging Face BlogAI 评分2222 BenCzechMark：你的 LLM 能理解捷克语吗？
Hugging Face 发布 BenCzechMark，首个面向捷克语的大语言模型综合评测套件，涵盖 9 大类共 50 项任务，其中 90% 为原生非翻译内容。配套榜单已收录超过 25 个不同规模的开源模型，任务采用 Acc、EM、AUROC、Ppl 等指标，并手工设计至少 5 组提示词以记录最佳表现与方差。
OpenAI NewsAI 评分5858 OpenAI 发布 SWE-bench Verified
OpenAI 发布 SWE-bench Verified，这是 SWE-bench 中经过人工校验的子集，用于更可靠地评估 AI 模型解决真实软件问题的能力。
Hugging Face BlogAI 评分2222 LAVE：用 LLM 在 Docmatix 上做零样本 VQA 评测，我们还需要微调吗？
Hugging Face 提出 LAVE（LLM-Assisted VQA Evaluation）指标，用 Llama-2-Chat-7b 以 1-3 分制对候选答案打分，在 Docmatix 的 200 张图像子集上评估 MPLUGDocOwl1.5 的零样本表现，LAVE 得分 0.58，而 CIDER 仅 0.1411、BLEU 0.0032、ANLS 0.002。
OpenAI NewsAI 评分4040 OpenAI 用基于规则的奖励（RBRs）提升模型安全行为
OpenAI 开发并应用了一种基于规则的奖励（RBRs）新方法，让模型在无需大量人工数据采集的情况下对齐至安全行为。
Hugging Face BlogAI 评分3838 Hugging Face 发布 Docmatix：超大规模文档视觉问答数据集
Hugging Face 发布 Docmatix，一个包含 240 万张图像、950 万问答对（源自 130 万份 PDF）的文档视觉问答数据集，规模是此前数据集的 240 倍。
OpenAI NewsAI 评分4040 OpenAI 用证明者-验证者博弈提升语言模型输出的可读性
OpenAI 提出用证明者-验证者博弈（Prover-Verifier Games）提升语言模型输出的可读性，让 AI 给出的解答更清晰、更易被验证。该方法旨在使模型输出对人类和机器都更可信。
Hugging Face Blog精选AI 评分6262 NuminaMath 如何赢得首届 AIMO 进步奖
Numina 与 Hugging Face 合作的 NuminaMath 7B TIR 赢得首届 AIMO 进步奖，在私有测试集 50 题中解出 29 题。方案基于 DeepSeekMath-Base 7B 做两阶段全量微调，先学自然语言链式推理，再学工具集成推理，配合 SC-TIR 解码生成 N=48、深度 M=4 的候选并多数投票。
推荐理由：获胜方案完整公开了两阶段微调、SC-TIR 解码与内部验证集设计，可迁移到其他推理任务。
Hugging Face Blog精选AI 评分6262 Hugging Face 的 Transformers Code Agent 登顶 GAIA 基准
Hugging Face 用基于 transformers.agents 构建的 ReactCodeAgent 在 GAIA 基准验证集上取得 44.2%，排名第一，比第二名高 4 个百分点；测试集得分 33.3%，排名第二，并在 Level 3 难题上取得最佳平均分。
推荐理由：Hugging Face 公开了用 Code Agent 登顶 GAIA 的完整实现细节，包括工具设计、安全解释器与规划策略，可迁移到自建智能体系统。
OpenAI NewsAI 评分2222 OpenAI 提出面向真实世界内容审核的整体性不良内容检测方法
OpenAI 提出一套构建稳健自然语言分类系统的整体性方法，用于真实场景下的内容审核与不良内容检测。该方法强调从整体视角应对真实世界内容审核需求。