Hugging Face 发布 FutureBench：评估 AI 智能体预测未来事件的能力
Hugging Face 推出 FutureBench，用真实预测市场和新闻生成的问题评估 AI 智能体预测未来事件的能力。该基准通过 smolagents 智能体抓取新闻并用 DeepSeek-V3 生成预测问题，每周从 Polymarket 引入约 8 个问题，另每轮抓取生成 5 个问题、时间跨度为一周。FutureBench 认为预测类任务无法被数据污染，且结果可随时间客观验证。
#DeepSeek
#DeepSeek
今日 0 条Hugging Face BlogAI 评分3434
Hugging Face Blog精选AI 评分6262 Hugging Face 用 Math-Verify 重评 Open LLM Leaderboard 全部 3751 个模型
Hugging Face 用 Math-Verify 替换旧评测器，重新评估了 Open LLM Leaderboard 上提交过的全部 3751 个模型。旧评测器因答案格式、SymPy 解析和比较环节的问题把正确答案判错，新方案平均让模型多解出 61 道题、整体提升 4.66 分，Algebra 与 Prealgebra 子集分别提升 8.27 和 6.93 分。
推荐理由：原文给出旧评测器失效的具体案例和重评后的分数变化，可据此判断数学评测口径对榜单排名的影响。
Hugging Face Blog精选AI 评分6767 Open R1 发布 OpenR1-Math-220k 数学推理数据集
Open R1 项目发布首个大规模数学推理数据集 OpenR1-Math-220k，在 512 张 H100 上用 vLLM 和 SGLang 本地生成 80 万条 R1 推理轨迹，经 Math Verify 与 Llama3.3-70B-Instruct 过滤后保留 22 万个含正确推理轨迹的问题。
推荐理由：Open R1 项目公开了 220k 数学推理数据集的构建流程与本地生成方案，可了解复现 R1 训练管线的具体做法。
Hugging Face Blog精选AI 评分6262 NuminaMath 如何赢得首届 AIMO 进步奖
Numina 与 Hugging Face 合作的 NuminaMath 7B TIR 赢得首届 AIMO 进步奖，在私有测试集 50 题中解出 29 题。方案基于 DeepSeekMath-Base 7B 做两阶段全量微调，先学自然语言链式推理，再学工具集成推理，配合 SC-TIR 解码生成 N=48、深度 M=4 的候选并多数投票。
推荐理由：获胜方案完整公开了两阶段微调、SC-TIR 解码与内部验证集设计，可迁移到其他推理任务。