跳到正文

评测基准

模型到底谁强:Benchmark 成绩、评测方法论争议与排行榜变化的持续记录。

最新精选

第 1–12 条 · 共 12 条
10月1日周四
  1. The Decoder78

    Google 发布 Gemini 4 Argon,缩小与 OpenAI、Anthropic 的差距但未取得明显领先

    Google 发布新前沿模型 Gemini 4 Argon,在多项基准上缩小了与 OpenAI、Anthropic 的差距,但未取得明显领先。该模型先向 Fairwind 计划的“可信网络防御者”和 Google 内部团队开放,之后才面向开发者、企业和消费者,起步于付费 API 客户和 Google AI Ultra 订阅用户,具体日期未定。

    推荐理由:汇总第三方基准与价格数据,呈现 Gemini 4 Argon 与 OpenAI、Anthropic 前沿模型的差距与成本结构。

9月29日周二
  1. Simon Willison80

    Anthropic 发布 Claude Sonnet 5.5

    Anthropic 发布新 Sonnet 模型 Claude Sonnet 5.5,官方称其运行速度提升 30% 以上、多数工作成本最多降低 30%,定价与 Sonnet 5 相同但在各项基准上均优于前代。

    推荐理由:作者实测 Sonnet 5.5 的编码与推理表现,并对比免费层能力,可据此判断其性价比定位。

9月16日周三
8月21日周五
  1. Hugging Face Blog62

    Hugging Face 研究:语音识别基准优化现象如何测量

    Hugging Face 发布研究,提出共识分歧探针、掩蔽实体检索和拼写切换三类测试来量化语音识别中的基准优化现象。研究评测 11 个开源 ASR 模型,发现部分高分模型会复现 VoxPopuli 和 LibriSpeech 参考转写中的错误,即使音频与之矛盾、相关词被静音或两种写法在音频中同样成立。

    推荐理由:通过三类探针量化语音模型对基准的过拟合,并给出可复用的检测脚本与榜单入口。

8月4日周二
  1. Microsoft Research71

    微软研究院开源 Orchard:可扩展智能体 AI 框架

    微软研究院发布开源框架 Orchard,核心是 Orchard Env 这一可复用的 Kubernetes 环境服务,支持软件工程、网页导航和个人助理等任务,并可直接在 Codex、OpenClaw、ZeroClaw 等真实部署 harness 中训练智能体。

    推荐理由:微软研究院开源 Orchard 框架,公开环境服务、训练流程与数据,读者可据此了解小模型在真实 harness 中训练智能体的路径。

7月15日周三
6月18日周四
  1. Hugging Face Blog62

    Hugging Face 发布 agent-eval:用自有工具链评测开源模型的智能体能力

    Hugging Face 发布 agent-eval 评测工具,以 transformers 为案例,在 bare、clone、skill 三种层级下测量智能体完成任务所需的轮次、token 与错误率,而非只看最终答案。

    推荐理由:Hugging Face 用自建 harness 实测 transformers 的 CLI 与 Skill 改动,发现同一改动对大模型提速、对小模型反而拖慢甚至破坏正确率。

5月16日周六
  1. Google DeepMind71

    WeatherNext 如何帮助美国国家飓风中心预测飓风 Melissa 登陆牙买加

    Google DeepMind 与 Google Research 开发的 AI 天气模型 WeatherNext 帮助美国国家飓风中心提前五天预测飓风 Melissa 将以五级强度登陆牙买加,置信度达 80%,三天前升至接近 100%。

    推荐理由:原文给出 WeatherNext 在飓风 Melissa 中的提前预警细节,读者可了解 AI 天气模型在路径与强度双预测上的实际表现。

2月4日周三
10月7日周二
  1. Hugging Face Blog60

    BigCode 发布 BigCodeArena:通过代码执行端到端评判代码生成

    BigCode 项目发布 BigCodeArena,这是首个通过实际执行代码来评估代码生成模型的人类参与平台,用户提交编程任务后可对比两个模型的生成结果、运行程序并投票,结果汇总为排行榜。

    推荐理由:平台把代码执行结果纳入人类投票,并公开 5 个月社区数据与两个新基准,可据此了解代码模型评测的新做法。

2月14日周五
  1. Hugging Face Blog62

    Hugging Face 用 Math-Verify 重评 Open LLM Leaderboard 全部 3751 个模型

    Hugging Face 用 Math-Verify 替换旧评测器,重新评估了 Open LLM Leaderboard 上提交过的全部 3751 个模型。旧评测器因答案格式、SymPy 解析和比较环节的问题把正确答案判错,新方案平均让模型多解出 61 道题、整体提升 4.66 分,Algebra 与 Prealgebra 子集分别提升 8.27 和 6.93 分。

    推荐理由:原文给出旧评测器失效的具体案例和重评后的分数变化,可据此判断数学评测口径对榜单排名的影响。

6月23日周五
  1. Hugging Face Blog62

    Open LLM Leaderboard 的 MMLU 分数为何与 LLaMA 论文不一致

    Hugging Face 解释了 Open LLM Leaderboard 上 LLaMA 的 MMLU 分数明显低于 LLaMA 论文的原因:榜单使用 EleutherAI LM Evaluation Harness,而论文采用 UC Berkeley 的原始 MMLU 实现,两者在提示词、答案提取方式上不同。

    推荐理由:同一 MMLU 数据集在三种实现下分数与排名差异明显,读者可据此理解评测口径对模型对比的影响。