Graphite 研究：Claude Opus 5.5 最爱说“this matters”，GPT 模型写作特征反而更偏离人类
Graphite 研究发现 Claude Opus 5.5 最显著的写作特征是“this matters”，出现频率是人类的 116 倍，“dependable”则是人类的 23 倍；OpenAI 的 Astra 偏爱“not simply X”式纠正性框架，频率超人类 100 倍。
#评测/基准
#评测/基准
今日 1 条TechCrunch · AIAI 评分3838
OpenAI NewsAI 评分3636 OpenAI 推出 MentalHealthBench
OpenAI 发布 MentalHealthBench，一个由专家参与构建的基准，用于评估 AI 在真实心理健康对话中回复是否有帮助且安全。
Hugging Face BlogAI 评分3636 Hugging Face 推出 BenchMIRT：LLM 基准测试究竟在测什么？
Hugging Face 发布 BenchMIRT，一种在单条提示词层面审计 LLM 基准测试的新方法，基于多维 IRT（MIRT）分离同一基准中混杂的能力信号。该方法在 100 个 LLM、16 个基准、超 34K 道题上训练，未被告知基准对应能力，却自行稳定复现出安全与通用推理两个主导维度。分析显示 BBQ、WMDP 等安全基准的得分与通用推理关联更强，说明单一基准分数可能混合多种信号。
Hugging Face BlogAI 评分5050 Hugging Face Open ASR Leaderboard 新增首个全球南方语言：印地语与印度英语评测集 Monsoon
Hugging Face 与 Voice Arena 合作，在 Open ASR Leaderboard 上新增 Monsoon en-IN 和 Monsoon hi-IN 两个评测集，印地语成为该多语言榜单上首个 Indic 语言。
Hugging Face Blog精选AI 评分6262 Hugging Face 研究：语音识别基准优化现象如何测量
Hugging Face 发布研究，提出共识分歧探针、掩蔽实体检索和拼写切换三类测试来量化语音识别中的基准优化现象。研究评测 11 个开源 ASR 模型，发现部分高分模型会复现 VoxPopuli 和 LibriSpeech 参考转写中的错误，即使音频与之矛盾、相关词被静音或两种写法在音频中同样成立。
推荐理由：通过三类探针量化语音模型对基准的过拟合，并给出可复用的检测脚本与榜单入口。
Import AIAI 评分3232 Import AI 469：DiG-bench 评测科学 AI、RSI 模拟器与扎克伯格的技术悲观主义
Import AI 第 469 期介绍了新基准 DiG-bench（Discovery in Games），包含 70 款规则与目标均隐藏的探索类游戏，其中 21 款已公开。
Microsoft ResearchAI 评分3939 MindTopo 基准揭示 VLM 空间推理能力短板
Microsoft Research 推出 MindTopo 基准，用于评测多模态大模型的拓扑推理能力，覆盖连通性、封闭性、顺序、分离与绳结五类关系，并区分静态推理与交互规划两个层级。测试显示，当前模型在静态识别上明显优于交互规划，且两者均远低于人类水平；失败多发生在规划阶段而非感知阶段，模型在场景变化中丢失结构关系或提出违反物理约束的动作。图像与视频生成仅在单帧保留结构约束时才有帮助。
Google ResearchAI 评分3636 Google 研究：召回而非编码是前沿 LLM 事实性的瓶颈
Google Research 提出知识画像框架，用 WikiProfile 基准（2,150 条维基百科事实、每条配 10 道题）区分编码与召回失败。Gemini-3-Pro 和 GPT-5 有 95–98% 的事实已编码，却仍无法直接召回 26–34% 的事实，开启思考后仍有 11–12% 失败。Gemma 3 系列显示模型规模扩大主要改善存储而非取用，瓶颈正从知识获取转向知识利用。
Import AIAI 评分6666 Import AI 466：机器人领域的苦涩教训、AI 完成周级编程任务与 OpenAI 意外 AI 黑客
本期 Import AI 汇总多项研究：Epoch 与 METR 发布 MirrorCode 基准，考察 AI 仅凭 CLI 访问重实现软件的能力，25 个目标程序中 17 个有满分运行，Opus 4.7 用 14 小时、251 美元推理成本完成一项人类需 2-17 周的任务。
Hugging Face Blog精选AI 评分6060 Hume 发布 Real World VoiceEQ：衡量语音 AI 的人类质量
Hume 发布 Real World VoiceEQ 语音 AI 评测基准，覆盖 40 多个专有与开源语音模型、15+ 评测维度和 60+ 指标，涵盖 ASR、TTS、S2S 和语音理解。
推荐理由：Hume 用超百万条人类评分构建语音评测基准，揭示现有基准高估真实表现的问题。
OpenAI NewsAI 评分3838 OpenAI 分析指出 SWE-Bench Pro 编码评测存在可靠性问题
OpenAI 发布的新分析揭示了流行编码基准 SWE-Bench Pro 存在的问题，引发对其评估 AI 模型时可靠性与准确性的担忧。
Hugging Face BlogAI 评分3838 ScarfBench：面向企业级 Java 框架迁移的 AI 智能体基准测试
Hugging Face 发布开源基准 ScarfBench，用于评估 AI 智能体在企业级 Java 跨框架迁移中的表现，涵盖 Spring、Jakarta EE、Quarkus 三大生态，包含 34 个应用、102 个框架实现和 204 个迁移任务。测试显示，即便最强智能体行为成功率也不足 10%，且 Claude Code 报告 30 个应用中 29 个构建成功，实际仅 22 个通过。
OpenAI NewsAI 评分2727 OpenAI 推出 GeneBench-Pro 基准，测试 AI 在基因组学与科研中的表现
OpenAI 推出 GeneBench-Pro，一个用复杂真实数据集测试 AI 在基因组学、生物学和科研中表现的新基准。
Hugging Face BlogAI 评分3636 Hugging Face 与 Treble 推出 FFASR 远场 ASR 排行榜
Hugging Face 与 Treble Technologies 联合发布 FFASR Leaderboard，这是首个开放的远场 ASR 基准，覆盖 14 个模拟房间并经过真实测量验证。所有提交模型在低 SNR 远场下的 WER 均比同内容近场高出数倍，榜单同时报告基于 NVIDIA L4 GPU 的 RTFx，用于权衡准确率与速度。多说话人、麦克风阵列与回声消除已在路线图中。
OpenAI NewsAI 评分3434 OpenAI 推出 LifeSciBench：面向生命科学研究任务的专家评测基准
OpenAI 发布 LifeSciBench，这是一个由专家编写并评审的基准，用于评估 AI 系统处理真实生命科学研究任务与决策的能力。
Hugging Face BlogAI 评分3434 Hugging Face 为 Open ASR Leaderboard 引入私有数据集以抵御 benchmaxxing
Hugging Face 与 Appen Inc.、DataoceanAI 合作，为 Open ASR Leaderboard 引入覆盖多口音、脚本化与对话语音的高质量英文 ASR 私有数据集，以防止 benchmaxxing 和测试集污染。默认 Average WER 仍仅基于公开数据集计算，用户可通过开关选择是否纳入私有数据集。该榜单自 2023 年 9 月上线以来访问量已超 710K 次。
Hugging Face BlogAI 评分2222 QIMMA قِمّة：一个质量优先的阿拉伯语 LLM 排行榜
Hugging Face 发布 QIMMA قِمّة，一个在评测模型前先验证基准质量的阿拉伯语 LLM 排行榜，整合 14 个来源基准的 109 个子集、超 52,000 条样本，覆盖 7 大领域且 99% 为原生阿拉伯语内容。
Hugging Face BlogAI 评分3939 Hugging Face 发布 VAKRA：评测 AI 智能体推理、工具调用与失败模式的可执行基准
Hugging Face 推出 VAKRA，一个面向企业级环境的工具调用可执行基准，用完整执行轨迹评估 AI 智能体的组合式推理能力。VAKRA 提供 8,000+ 本地托管 API、覆盖 62 个领域，任务需 3-7 步推理链，包含 API 链式调用、工具选择、多跳推理等四类任务，模型整体表现不佳。
Google ResearchAI 评分4040 Google Research 评估 LLM 行为倾向与人类的对齐程度
Google Research 提出一套框架，用改编自 IRI、ERQ 等心理学问卷的情境判断测试（SJT）评估 LLM 行为倾向与人类共识的对齐程度。对 25 个 LLM 的大规模分析发现两类差距：模型倾向偏离人类标注者共识，以及在无共识时无法覆盖人类意见的分布范围。小模型（<120B）与前沿闭源模型在人类一致同意时接近完美对齐，但共识低于 90% 时对齐率停滞在 80% 出头。
Google ResearchAI 评分3131 Google Research 研究：AI 基准测试需要多少标注者才够？
Google Research 在《Forest vs Tree: The (N, K) Trade-off in Reproducible ML Evaluation》中研究了标注条目数与每条目标注者数的权衡，并将模拟器在 GitHub 开源。
Hugging Face BlogAI 评分5252 ServiceNow 发布语音智能体端到端评测框架 EVA
ServiceNow 在 Hugging Face 发布 EVA，一个面向对话式语音智能体的端到端评测框架，同时给出 EVA-A（准确率）和 EVA-X（体验）两个分数，并开源代码与数据集。
Google DeepMindAI 评分4949 Google DeepMind 发布 AGI 认知框架，并联合 Kaggle 举办评测黑客松
Google DeepMind 发布论文《Measuring Progress Toward AGI: A Cognitive Taxonomy》，提出用认知科学衡量 AGI 进展的框架，涵盖感知、生成、注意力、学习、记忆、推理、元认知、执行功能、问题解决、社会认知 10 项能力，并配套三阶段评测协议。
Google ResearchAI 评分3636 Google 与康奈尔大学测试 LLM 能否回答高温超导研究问题
Google 与康奈尔大学在《PNAS》发表研究，让 GPT-4o、Perplexity、Claude 3.5、Gemini Advanced Pro 1.5、NotebookLM 及一套自建 RAG 系统回答 67 道高温超导专家级问题，由 12 位国际专家按平衡性、全面性、简洁性、证据、图像相关性和定性反馈六项指标盲评打分。
Hugging Face BlogAI 评分4747 IBM 与 UC Berkeley 用 ITBench 和 MAST 诊断企业级 AI 智能体失败原因
IBM Research 与 UC Berkeley 用 MAST 失败分类法分析 ITBench 的 310 条 SRE 执行轨迹，覆盖 Gemini-3-Flash、Kimi-K2 和 GPT-OSS-120B 三类模型。
OpenAI NewsAI 评分4040 OpenAI 与 Paradigm 推出 EVMbench，评测 AI 智能体发现与利用智能合约漏洞的能力
OpenAI 与 Paradigm 联合推出 EVMbench，用于评测 AI 智能体检测、修补和利用高危智能合约漏洞的能力。该基准聚焦高严重性漏洞，覆盖发现、修复与攻击三类任务。
Hugging Face BlogAI 评分2222 Hugging Face 发布 Alyah 基准，评估阿拉伯语 LLM 的阿联酋方言能力
Hugging Face 推出 Alyah（الياه，意为北极星）基准，用于评估阿拉伯语 LLM 对阿联酋方言的语言、文化与语用理解能力。该基准含 1,173 条由阿联酋母语者手工采集的样本，均为四选一选择题，覆盖问候、诗歌、遗产知识等七类内容。团队共评测 54 个模型，其中 google/gemma-3-27b-pt 以 74.68 的准确率居首。
Hugging Face BlogAI 评分3636 AssetOpsBench：弥合 AI 智能体基准与工业现实之间的差距
Hugging Face 发布 AssetOpsBench，一个面向工业资产运维的智能体评测基准，包含 2.3M 传感器遥测点、140+ 场景、4.2K 工单和 53 种结构化故障模式，覆盖 4 个智能体。
OpenAI NewsAI 评分3838 OpenAI 推出 FrontierScience 基准，评估 AI 科研推理能力
OpenAI 推出 FrontierScience 基准，用于测试 AI 在物理、化学和生物学领域的推理能力，衡量其向真实科学研究迈进的程度。该基准聚焦科研任务中的推理表现，而非单纯知识问答。
Google DeepMindAI 评分3737 Google DeepMind 与 Kaggle 推出 FACTS Benchmark Suite，系统评估大语言模型事实准确性
Google DeepMind 联合 Kaggle 发布 FACTS Benchmark Suite，在原有 FACTS Grounding 基础上新增 Parametric、Search、Multimodal 三项基准，并将 Grounding 升级至 v2，共 3,513 个公开样本。
Google ResearchAI 评分3131 Google 发布 MSEB：面向听觉智能的大规模声音嵌入基准
Google Research 在 NeurIPS 2025 发布大规模声音嵌入基准 MSEB，用统一框架评测检索、推理、分类、转录、分割、聚类、重排与重建八项听觉能力。
Hugging Face BlogAI 评分3434 Hugging Face 推出 RTEB：面向真实场景的检索嵌入基准测试
Hugging Face 发布 Retrieval Embedding Benchmark（RTEB）beta 版，用于评估嵌入模型在真实应用中的检索准确率。RTEB 采用开放与私有数据集混合策略，私有部分由 MTEB 维护者评测，以暴露模型在未见数据上的过拟合。基准覆盖 20 种语言及法律、医疗、代码、金融等领域，默认榜单指标为 NDCG@10，每个数据集至少含 1k 文档和 50 条查询。
OpenAI NewsAI 评分4040 OpenAI 推出 GDPval：在 44 个职业的真实经济任务上评测模型表现
OpenAI 推出 GDPval，一项衡量模型在真实、有经济价值任务上表现的新评测，覆盖 44 个职业。该评测用于评估模型在现实工作场景中的实际能力表现。
Hugging Face BlogAI 评分2222 Hugging Face 发布 FilBench：LLM 能否理解并生成菲律宾语？
Hugging Face 推出 FilBench 评测套件，覆盖文化知识、经典 NLP、阅读理解与生成四大类共 12 项任务，用于评估 LLM 在 Tagalog、Filipino 和 Cebuano 上的表现，并已评测 20+ 个 SOTA 模型。
Hugging Face BlogAI 评分3636 Hugging Face 发布 TextQuests：LLM 玩文字冒险游戏表现如何？
Hugging Face 推出 TextQuests 基准，基于 25 款经典 Infocom 互动小说游戏，评测 LLM 作为自主智能体的长上下文推理与探索学习能力。
Hugging Face BlogAI 评分2222 Hugging Face 发布 3LM：面向阿拉伯语 LLM 的 STEM 与代码基准
Hugging Face 推出 3LM（علم），一个评估阿拉伯语 LLM 在 STEM 与代码生成上表现的多组件基准，包含 865 道原生 STEM 选择题、1744 道合成 STEM 选择题，以及翻译自 HumanEval+ 和 MBPP+ 的阿拉伯语代码任务。
Hugging Face BlogAI 评分5858 TimeScope：视频大模型能理解多长的视频？
TimeScope 是一个开源长视频理解基准，通过在 1 分钟到 8 小时的基础视频中插入 5-10 秒的短片段作为“针”，评测模型的局部检索、信息综合和细粒度时序感知三项能力。
Hugging Face BlogAI 评分3434 Hugging Face 发布 FutureBench：评估 AI 智能体预测未来事件的能力
Hugging Face 推出 FutureBench，用真实预测市场和新闻生成的问题评估 AI 智能体预测未来事件的能力。该基准通过 smolagents 智能体抓取新闻并用 DeepSeek-V3 生成预测问题，每周从 Polymarket 引入约 8 个问题，另每轮抓取生成 5 个问题、时间跨度为一周。FutureBench 认为预测类任务无法被数据污染，且结果可随时间客观验证。
Hugging Face BlogAI 评分2222 Hugging Face 公布 NeurIPS 2025 E2LM 竞赛：面向大语言模型早期训练评估
Hugging Face 上线 NeurIPS 2025 E2LM 竞赛，征集能在大语言模型早期训练阶段（约 200B tokens 以内）有效区分科学知识信号的评测基准。
OpenAI NewsAI 评分3838 OpenAI 发布 HealthBench：面向医疗 AI 的评估基准
OpenAI 发布医疗 AI 评估基准 HealthBench，用于在真实场景中评测模型表现。该基准由 250 多名医生参与构建，旨在为医疗领域模型性能与安全性提供统一标准。
Hugging Face BlogAI 评分3939 Hugging Face 发布 HELMET：全面评估长上下文语言模型
Hugging Face 发布 HELMET 基准，用于全面评估长上下文语言模型，覆盖多样性、可控性与可靠性，已评测 59 个近期 LCLM。该基准指出困惑度和 NIAH 等合成任务与真实下游表现相关性差，复杂合成任务（如 RULER MV）相关性更高，并已被 Microsoft Phi-4 和 AI21 Jamba 1.6 采用。