跳到正文

#评测/基准

今日 0 条
9月22日周二
9月16日周三
8月27日周四
  1. Google DeepMind48

    Google DeepMind 首次对 Gemini Flash Lite 开展双盲 AI 评测

    Google DeepMind 联合新加坡 AI Safety Institute、OpenMined、AVERI 和 MLCommons,首次对专有前沿模型 Gemini Flash Lite 进行双盲评测,将外部评测限制在加密“黑箱”中,防止测试题被模型提前获取用于优化性能。该方案在隐私保护环境下用保密基准测试模型,以缓解基准污染、提升评测可信度。

6月23日周五
  1. Hugging Face Blog62

    Open LLM Leaderboard 的 MMLU 分数为何与 LLaMA 论文不一致

    Hugging Face 解释了 Open LLM Leaderboard 上 LLaMA 的 MMLU 分数明显低于 LLaMA 论文的原因:榜单使用 EleutherAI LM Evaluation Harness,而论文采用 UC Berkeley 的原始 MMLU 实现,两者在提示词、答案提取方式上不同。

    推荐理由:同一 MMLU 数据集在三种实现下分数与排名差异明显,读者可据此理解评测口径对模型对比的影响。