NVIDIA 发布 Nemotron 3 Nano 30B A3B，公开完整评测配方
NVIDIA 发布 Nemotron 3 Nano 30B A3B，并公开其完整评测配方，基于开源库 NeMo Evaluator 构建，任何人可复现评测流程并独立核验结果。NeMo Evaluator 将多个评测 harness 统一到单一接口，分离评测流程与推理后端，默认生成结构化结果与日志。NVIDIA 同时公开了模型卡评测所用的 YAML 配置。
#评测/基准
#评测/基准
今日 0 条Hugging Face BlogAI 评分4141
OpenAI NewsAI 评分3838 OpenAI 推出 FrontierScience 基准，评估 AI 科研推理能力
OpenAI 推出 FrontierScience 基准，用于测试 AI 在物理、化学和生物学领域的推理能力，衡量其向真实科学研究迈进的程度。该基准聚焦科研任务中的推理表现，而非单纯知识问答。
Google DeepMindAI 评分3737 Google DeepMind 与 Kaggle 推出 FACTS Benchmark Suite，系统评估大语言模型事实准确性
Google DeepMind 联合 Kaggle 发布 FACTS Benchmark Suite，在原有 FACTS Grounding 基础上新增 Parametric、Search、Multimodal 三项基准，并将 Grounding 升级至 v2，共 3,513 个公开样本。
Google ResearchAI 评分3131 Google 发布 MSEB：面向听觉智能的大规模声音嵌入基准
Google Research 在 NeurIPS 2025 发布大规模声音嵌入基准 MSEB，用统一框架评测检索、推理、分类、转录、分割、聚类、重排与重建八项听觉能力。
Hugging Face Blog精选AI 评分6060 BigCode 发布 BigCodeArena：通过代码执行端到端评判代码生成
BigCode 项目发布 BigCodeArena，这是首个通过实际执行代码来评估代码生成模型的人类参与平台，用户提交编程任务后可对比两个模型的生成结果、运行程序并投票，结果汇总为排行榜。
推荐理由：平台把代码执行结果纳入人类投票，并公开 5 个月社区数据与两个新基准，可据此了解代码模型评测的新做法。
Hugging Face BlogAI 评分3434 Hugging Face 推出 RTEB：面向真实场景的检索嵌入基准测试
Hugging Face 发布 Retrieval Embedding Benchmark（RTEB）beta 版，用于评估嵌入模型在真实应用中的检索准确率。RTEB 采用开放与私有数据集混合策略，私有部分由 MTEB 维护者评测，以暴露模型在未见数据上的过拟合。基准覆盖 20 种语言及法律、医疗、代码、金融等领域，默认榜单指标为 NDCG@10，每个数据集至少含 1k 文档和 50 条查询。
OpenAI NewsAI 评分4040 OpenAI 推出 GDPval：在 44 个职业的真实经济任务上评测模型表现
OpenAI 推出 GDPval，一项衡量模型在真实、有经济价值任务上表现的新评测，覆盖 44 个职业。该评测用于评估模型在现实工作场景中的实际能力表现。
Hugging Face BlogAI 评分2222 Hugging Face 发布 FilBench：LLM 能否理解并生成菲律宾语？
Hugging Face 推出 FilBench 评测套件，覆盖文化知识、经典 NLP、阅读理解与生成四大类共 12 项任务，用于评估 LLM 在 Tagalog、Filipino 和 Cebuano 上的表现，并已评测 20+ 个 SOTA 模型。
Hugging Face BlogAI 评分3636 Hugging Face 发布 TextQuests：LLM 玩文字冒险游戏表现如何？
Hugging Face 推出 TextQuests 基准，基于 25 款经典 Infocom 互动小说游戏，评测 LLM 作为自主智能体的长上下文推理与探索学习能力。
Hugging Face BlogAI 评分3636 NVIDIA AI-Q 蓝图如何用 Llama Nemotron 开源模型登顶 DeepResearch Bench
NVIDIA 的 AI-Q Blueprint 在 DeepResearch Bench 的 Hugging Face "LLM with Search" 榜单上以 40.52 分登顶，成为排名最高的全开源许可方案。
Hugging Face BlogAI 评分2222 Hugging Face 发布 3LM：面向阿拉伯语 LLM 的 STEM 与代码基准
Hugging Face 推出 3LM（علم），一个评估阿拉伯语 LLM 在 STEM 与代码生成上表现的多组件基准，包含 865 道原生 STEM 选择题、1744 道合成 STEM 选择题，以及翻译自 HumanEval+ 和 MBPP+ 的阿拉伯语代码任务。
Hugging Face BlogAI 评分5858 TimeScope：视频大模型能理解多长的视频？
TimeScope 是一个开源长视频理解基准，通过在 1 分钟到 8 小时的基础视频中插入 5-10 秒的短片段作为“针”，评测模型的局部检索、信息综合和细粒度时序感知三项能力。
Hugging Face BlogAI 评分3434 Hugging Face 发布 FutureBench：评估 AI 智能体预测未来事件的能力
Hugging Face 推出 FutureBench，用真实预测市场和新闻生成的问题评估 AI 智能体预测未来事件的能力。该基准通过 smolagents 智能体抓取新闻并用 DeepSeek-V3 生成预测问题，每周从 Polymarket 引入约 8 个问题，另每轮抓取生成 5 个问题、时间跨度为一周。FutureBench 认为预测类任务无法被数据污染，且结果可随时间客观验证。
Hugging Face BlogAI 评分2222 Hugging Face 公布 NeurIPS 2025 E2LM 竞赛：面向大语言模型早期训练评估
Hugging Face 上线 NeurIPS 2025 E2LM 竞赛，征集能在大语言模型早期训练阶段（约 200B tokens 以内）有效区分科学知识信号的评测基准。
OpenAI NewsAI 评分3838 OpenAI 发布 HealthBench：面向医疗 AI 的评估基准
OpenAI 发布医疗 AI 评估基准 HealthBench，用于在真实场景中评测模型表现。该基准由 250 多名医生参与构建，旨在为医疗领域模型性能与安全性提供统一标准。
Hugging Face BlogAI 评分3939 Hugging Face 发布 HELMET：全面评估长上下文语言模型
Hugging Face 发布 HELMET 基准，用于全面评估长上下文语言模型，覆盖多样性、可控性与可靠性，已评测 59 个近期 LCLM。该基准指出困惑度和 NIAH 等合成任务与真实下游表现相关性差，复杂合成任务（如 RULER MV）相关性更高，并已被 Microsoft Phi-4 和 AI21 Jamba 1.6 采用。
OpenAI NewsAI 评分3333 OpenAI 发布 BrowseComp：面向浏览智能体的基准测试
OpenAI 推出 BrowseComp，一个面向浏览智能体（browsing agents）的基准测试。该基准用于评估智能体在浏览任务上的表现，具体评测指标与可用性细节尚未在原文中披露。
Mistral AIAI 评分3030 Mistral 如何用 LLM as a Judge 评估 RAG 系统
Mistral 提出用 LLM as a Judge 评估 RAG 系统，由 judge LLM 按数值、二元或定性量表为 generator LLM 的回答打分，再对评测数据集取平均得到加权总分。
Hugging Face BlogAI 评分2222 Hugging Face 联合 MBZUAI 推出阿拉伯语评测榜单，新增指令遵循基准并更新 AraGen
Hugging Face 与 MBZUAI 合作上线 Arabic-Leaderboards Space，统一收录阿拉伯语 AI 评测，目前包含 AraGen-03-25 和阿拉伯语指令遵循两个榜单。
OpenAI NewsAI 评分3535 OpenAI 发布 PaperBench：评估 AI 智能体复现前沿 AI 研究的能力
OpenAI 推出 PaperBench，用于评估 AI 智能体复现前沿 AI 研究的能力。该基准衡量智能体能否从零复现最先进的 AI 研究成果。
OpenAI News精选AI 评分6060 OpenAI 发布 SWE-Lancer 基准
OpenAI 发布 SWE-Lancer 基准，用于测试前沿 LLM 能否完成真实世界的自由职业软件工程任务并赚取 100 万美元。该基准以真实报酬的软件工程任务为评测对象。
推荐理由：OpenAI 推出面向真实自由职业软件工程任务的基准，读者可了解前沿 LLM 在真实报酬任务上的表现。
Hugging Face Blog精选AI 评分6262 Hugging Face 用 Math-Verify 重评 Open LLM Leaderboard 全部 3751 个模型
Hugging Face 用 Math-Verify 替换旧评测器，重新评估了 Open LLM Leaderboard 上提交过的全部 3751 个模型。旧评测器因答案格式、SymPy 解析和比较环节的问题把正确答案判错，新方案平均让模型多解出 61 道题、整体提升 4.66 分，Algebra 与 Prealgebra 子集分别提升 8.27 和 6.93 分。
推荐理由：原文给出旧评测器失效的具体案例和重评后的分数变化，可据此判断数学评测口径对榜单排名的影响。
Hugging Face BlogAI 评分3131 Hugging Face 发布 Open Arabic LLM Leaderboard 2
Hugging Face 联合 2A2I、TII 推出 Open Arabic LLM Leaderboard 2，升级阿拉伯语大模型评测榜。首版 OALL 上线不到 7 个月吸引超 46,000 名访客，收到 700 多个模型提交，参数规模从 1B 到 70B 以上，来自 180 多个机构，其中超 70% 为 chat 与微调模型，11% 为预训练模型。
Hugging Face BlogAI 评分3838 Adyen 与 Hugging Face 发布 DABstep：多步推理数据智能体基准
Adyen 与 Hugging Face 联合发布 DABstep，一个面向多步推理的数据智能体基准，包含 450+ 个源自 Adyen 真实业务的数据分析任务。最强推理型智能体在该基准上仅取得 16% 准确率，凸显当前模型在复杂数据分析上的差距。任务结合结构化与非结构化数据，采用二元事实性评测，仅需代码执行环境即可运行并提交排行榜。
Hugging Face BlogAI 评分3434 Hugging Face Open LLM Leaderboard 分析：模型推理的 CO₂ 排放与性能表现
Hugging Face 在 Open LLM Leaderboard 中引入 CO₂ 排放估算，基于 2024 年 6 月以来对 3000 多个模型的评测数据，分析了 2742 个模型的推理碳排放与性能关系。
Hugging Face BlogAI 评分3838 Artificial Analysis 发布 Big Bench Audio，评测音频推理能力
Artificial Analysis 发布 Big Bench Audio 评测数据集，用于评估音频语言模型的推理能力，题目改编自 Big Bench Hard，共 1000 道音频题，覆盖 Formal Fallacies、Navigate、Object Counting、Web of Lies 四类各 250 题。
Hugging Face BlogAI 评分2222 LLM 修复自身错误的能力如何？基于 Keras 和 TPU 的聊天机器人竞技场实验
Hugging Face 用 Keras、JAX 和 TPU 搭建了一个聊天机器人竞技场，测试 LLM 能否根据用户的自然语言反馈修正自己生成的代码。实验在 TPU v5e 2x4 上同时加载了 5 个约 8B 参数模型和 3 个约 2B 参数模型，共 7 个 LLM，以 bfloat16 格式运行，通过 Gradio 界面并行对话并随时切换模型。
Hugging Face BlogAI 评分2222 Hugging Face 推出 AraGen：基于 3C3H 的阿拉伯语 LLM 生成式评测基准与榜单
Hugging Face 发布面向阿拉伯语 LLM 的生成式任务基准与榜单 AraGen，采用新的 3C3H 评测指标，从正确性、完整性、简洁性、有用性、诚实性和无害性六个维度由 LLM-as-judge 打分。
Hugging Face BlogAI 评分3838 让大模型辩论：首届多语言 LLM 辩论赛 FlagEval Debate 举办
BAAI 推出 FlagEval Debate 辩论平台，让大模型直接对抗，目前支持英语、中文、阿拉伯语和韩语四种语言的辩论赛。平台采用专家评审与用户投票的双重评估机制，并提供开发者自定义功能，可调整模型参数、策略与对话风格。2024 年 Q3 的实验显示，当前大多数模型都能参与辩论。
Hugging Face BlogAI 评分3636 Hugging Face 与 LLM-jp 联合推出日语 LLM 开放排行榜
Hugging Face 与 LLM-jp 联合发布 Open Japanese LLM Leaderboard，用 llm-jp-eval 评测套件覆盖 16 项任务，从自然语言推理、机器翻译到代码生成与数学推理，均以 4-shot 方式测试。数据集由 LLM-jp 评测团队联合语言学家与标注人员构建或翻译，旨在为日语 LLM 提供集中、开放的比较平台。
Hugging Face BlogAI 评分5858 Hugging Face 与 Atla 推出 Judge Arena，用投票评测 LLM 评审模型
Hugging Face 博客发布 Judge Arena，一个让用户对两个 LLM 评审模型的评分和理由进行投票对比的平台，结果汇总为按 Elo 分数每小时更新的公开榜单。
OpenAI NewsAI 评分3131 OpenAI 推出 SimpleQA 事实性基准
OpenAI 发布名为 SimpleQA 的事实性基准，用于衡量语言模型回答简短事实型问题的能力。该基准聚焦短小、寻求事实的提问场景，评估模型的事实准确性。
Hugging Face BlogAI 评分2222 Hugging Face 专家支持案例：用 LLM-as-a-Judge 强化 RAG 应用
CGIAR 与 Digital Green 在 Hugging Face 专家支持下为农业问答机器人 Farmer.chat 搭建了 LLM-as-a-Judge 评测体系，用于衡量 RAG 回答的质量。
OpenAI NewsAI 评分3131 OpenAI 发布 MLE-bench：评估 AI 智能体的机器学习工程能力
OpenAI 推出 MLE-bench，用于衡量 AI 智能体在机器学习工程任务上的表现。该基准测试评估智能体完成机器学习工程工作的能力。
Hugging Face BlogAI 评分3434 Hugging Face 推出 Open FinLLM Leaderboard，面向金融场景评测大语言模型
Hugging Face 发布 Open FinLLM Leaderboard，专门评测大语言模型在金融任务上的表现，覆盖信息抽取、文本分析、问答、文本生成、风险管理、预测和决策七大类。该榜单采用零样本评测，使用 Accuracy、F1、ROUGE 和 MCC 等指标，数据集聚焦真实金融场景，如信用评分、欺诈检测和股价走势预测。
Hugging Face BlogAI 评分2222 BenCzechMark：你的 LLM 能理解捷克语吗？
Hugging Face 发布 BenCzechMark，首个面向捷克语的大语言模型综合评测套件，涵盖 9 大类共 50 项任务，其中 90% 为原生非翻译内容。配套榜单已收录超过 25 个不同规模的开源模型，任务采用 Acc、EM、AUROC、Ppl 等指标，并手工设计至少 5 组提示词以记录最佳表现与方差。
OpenAI NewsAI 评分5858 OpenAI 发布 SWE-bench Verified
OpenAI 发布 SWE-bench Verified，这是 SWE-bench 中经过人工校验的子集，用于更可靠地评估 AI 模型解决真实软件问题的能力。
Hugging Face BlogAI 评分2222 LAVE：用 LLM 在 Docmatix 上做零样本 VQA 评测，我们还需要微调吗？
Hugging Face 提出 LAVE（LLM-Assisted VQA Evaluation）指标，用 Llama-2-Chat-7b 以 1-3 分制对候选答案打分，在 Docmatix 的 200 张图像子集上评估 MPLUGDocOwl1.5 的零样本表现，LAVE 得分 0.58，而 CIDER 仅 0.1411、BLEU 0.0032、ANLS 0.002。
Hugging Face Blog精选AI 评分6262 Hugging Face 的 Transformers Code Agent 登顶 GAIA 基准
Hugging Face 用基于 transformers.agents 构建的 ReactCodeAgent 在 GAIA 基准验证集上取得 44.2%，排名第一，比第二名高 4 个百分点；测试集得分 33.3%，排名第二，并在 Level 3 难题上取得最佳平均分。
推荐理由：Hugging Face 公开了用 Code Agent 登顶 GAIA 的完整实现细节，包括工具设计、安全解释器与规划策略，可迁移到自建智能体系统。
Hugging Face BlogAI 评分4343 BigCodeBench：下一代 HumanEval 代码评测基准发布
Hugging Face 发布 BigCodeBench，包含 1,140 个函数级任务，要求 LLM 调用 139 个库中的多个函数作为工具，每个任务平均含 5.6 个测试用例、分支覆盖率 99%。