跳到正文

全部动态

今日 37 条
2月14日周五
  1. Hugging Face Blog62

    Hugging Face 用 Math-Verify 重评 Open LLM Leaderboard 全部 3751 个模型

    Hugging Face 用 Math-Verify 替换旧评测器,重新评估了 Open LLM Leaderboard 上提交过的全部 3751 个模型。旧评测器因答案格式、SymPy 解析和比较环节的问题把正确答案判错,新方案平均让模型多解出 61 道题、整体提升 4.66 分,Algebra 与 Prealgebra 子集分别提升 8.27 和 6.93 分。

    推荐理由:原文给出旧评测器失效的具体案例和重评后的分数变化,可据此判断数学评测口径对榜单排名的影响。

2月13日周四
2月12日周三
  1. Hugging Face Blog60

    Hugging Face 用块与分片聚合加速 Hub 上传下载

    Hugging Face 的 Xet 团队将内容定义分块(CDC)投入生产,通过把去重后的数据聚合为最大 64MB 的块、并用分片记录文件与块的映射,把 CAS 条目减少约 1000 倍,上传下载速度在部分场景提升 2-3 倍。

    推荐理由:Hugging Face 官方解释 Xet 存储如何用块与分片聚合替代逐块传输,并给出量化模型仓库的实测节省数据。

2月11日周二
  1. Hugging Face Blog67

    Open R1 发布 OpenR1-Math-220k 数学推理数据集

    Open R1 项目发布首个大规模数学推理数据集 OpenR1-Math-220k,在 512 张 H100 上用 vLLM 和 SGLang 本地生成 80 万条 R1 推理轨迹,经 Math Verify 与 Llama3.3-70B-Instruct 过滤后保留 22 万个含正确推理轨迹的问题。

    推荐理由:Open R1 项目公开了 220k 数学推理数据集的构建流程与本地生成方案,可了解复现 R1 训练管线的具体做法。

2月10日周一
2月7日周五
2月6日周四
2月4日周二
  1. OpenAI News60

    OpenAI 与加州州立大学系统合作,向 50 万师生提供 ChatGPT

    OpenAI 宣布与加州州立大学(CSU)系统合作,将 ChatGPT 提供给 50 万名学生和教职员工,称这是迄今规模最大的一次 ChatGPT 部署。该合作旨在扩大 AI 在教育中的使用,并帮助美国培养具备 AI 能力的劳动力。

    推荐理由:OpenAI 与加州州立大学系统合作,把 ChatGPT 铺进 50 万师生,是观察 AI 进校园规模的一个样本。

  2. Hugging Face Blog38

    Adyen 与 Hugging Face 发布 DABstep:多步推理数据智能体基准

    Adyen 与 Hugging Face 联合发布 DABstep,一个面向多步推理的数据智能体基准,包含 450+ 个源自 Adyen 真实业务的数据分析任务。最强推理型智能体在该基准上仅取得 16% 准确率,凸显当前模型在复杂数据分析上的差距。任务结合结构化与非结构化数据,采用二元事实性评测,仅需代码执行环境即可运行并提交排行榜。

2月3日周一
  1. OpenAI News75

    OpenAI 发布 deep research 智能体

    OpenAI 发布 deep research 智能体,可利用推理综合大量在线信息并完成多步研究任务。该功能今日面向 Pro 用户开放,Plus 和 Team 用户随后可用。

    推荐理由:OpenAI 官方发布 deep research 智能体,读者可了解其多步研究能力与分阶段开放节奏。

2月2日周日
  1. Hugging Face Blog62

    Open-R1 更新:复现 DeepSeek-R1 评测分数与训练管线进展

    Hugging Face 的 Open-R1 项目在启动一周后,复现了 DeepSeek-R1 蒸馏模型在 MATH-500 上的评测分数,例如 DeepSeek-R1-Distill-Qwen-1.5B 得 81.6、7B 得 91.8、32B 得 95.0。

    推荐理由:Open-R1 一周内复现了 DeepSeek-R1 蒸馏模型的评测分数,并公开了 GRPO 训练与合成数据生成的具体工程取舍。

2月1日周六
1月31日周五
  1. OpenAI News62

    OpenAI 发布 o3-mini 系统卡

    OpenAI 发布 o3-mini 系统卡,说明该模型的安全工作,包括安全评估、外部红队测试和 Preparedness Framework 评测。

    推荐理由:官方系统卡披露 o3-mini 的安全评估、外部红队与 Preparedness 框架评测范围,便于了解其安全验证流程。

1月30日周四