跳到正文

#数据/训练

今日 1 条
2月3日周二
1月29日周四
1月28日周三
1月27日周二
  1. Hugging Face Blog28

    中国开源 AI 生态的架构选择:超越 DeepSeek 之后

    中国开源模型已几乎一致转向 MoE 架构,Kimi K2、MiniMax M2、Qwen3 均采用该路线,以在成本约束下兼顾能力与灵活部署。0.5B–30B 小模型成为本地运行与微调主力,Apache 2.0 接近默认许可证。DeepSeek-V3.2-Exp 获华为昇腾与寒武纪 day-zero 支持,蚂蚁 Ling 用国产芯片训练 1 万亿 token 成本降约 20%。

  2. Hugging Face Blog22

    Hugging Face 发布 Alyah 基准,评估阿拉伯语 LLM 的阿联酋方言能力

    Hugging Face 推出 Alyah(الياه,意为北极星)基准,用于评估阿拉伯语 LLM 对阿联酋方言的语言、文化与语用理解能力。该基准含 1,173 条由阿联酋母语者手工采集的样本,均为四选一选择题,覆盖问候、诗歌、遗产知识等七类内容。团队共评测 54 个模型,其中 google/gemma-3-27b-pt 以 74.68 的准确率居首。

1月24日周六
  1. Google Research31

    Google Research 推出 GIST:智能采样的下一阶段

    Google Research 在 NeurIPS 2025 提出 GIST(Greedy Independent Set Thresholding)算法,用于训练数据子集选择,在图像分类等任务上超越现有基准,并首次为该多样性-效用权衡提供可证明的近似保证——所选子集价值至少达到最优解的一半。GIST 通过将多样性-效用问题拆解为一系列最大独立集问题,用双准则贪心算法在多个距离阈值上逼近求解。

1月20日周二
  1. Hugging Face Blog62

    微软发布 Differential Transformer V2:差分注意力无需自定义 kernel

    微软团队发布 Differential Transformer V2,通过为每个 token 和每个 head 投影 λ 并只增加 query head 数量、保持 KV head 不变,使解码速度与标准 Transformer 持平且无需自定义注意力 kernel。

    推荐理由:微软团队给出 Differential Transformer V2 的注意力实现与消融对比,读者可了解差分注意力在解码速度与训练稳定性上的取舍。

1月14日周三
1月13日周二
  1. Google Research62

    NeuralGCM 用 AI 改进全球长期降水模拟

    Google Research 在 Science Advances 发表论文,介绍混合模型 NeuralGCM 直接使用 NASA 2001 至 2018 年卫星降水观测训练其机器学习部分,而非依赖再分析数据。

    推荐理由:NeuralGCM 改用卫星降水观测训练后,在 15 天预报与数十年气候模拟上均优于传统模型,读者可了解混合建模路线的具体收益。

1月10日周六
  1. Berkeley AI Research32

    伯克利提出信息驱动成像系统设计框架,可跨四类成像任务预测性能

    伯克利 AI Research 提出一种基于互信息的成像系统评估与优化框架,仅用带噪测量和噪声模型即可量化信息含量,无需重建算法或任务专用解码器。该框架在彩色摄影、射电天文、无镜头成像和显微成像四个领域预测了解码器性能,优化后的设计达到端到端方法水平,且内存和算力需求更低。相关论文发表于 NeurIPS 2025。

1月5日周一
12月18日周四
12月11日周四
  1. Google Research34

    Google 提出 Urania:用差分隐私框架洞察 AI 聊天机器人使用情况

    Google Research 在 COLM 2025 论文中提出 Urania 框架,通过差分隐私(DP)聚类与 DP 关键词提取,从 LLM 聊天机器人对话中生成使用洞察,且不依赖 LLM 自行脱敏。该框架用隐私预算 ε 提供端到端数学保证,LLM 仅基于匿名关键词生成摘要,不接触原始对话。对比非隐私基线 Simple-CLIO,DP 摘要最高有 70% 的概率被 LLM 评估者偏好。

12月10日周三
12月5日周五
  1. Google Research62

    Google 发布 Titans 与 MIRAS:让 AI 拥有长期记忆

    Google Research 发布 Titans 架构和 MIRAS 理论框架,将 RNN 的速度与 Transformer 的精度结合,实现测试时记忆。Titans 用深度神经网络作为长期记忆模块,通过 surprise 指标、动量和自适应权重衰减选择性存储信息;MIRAS 则统一了序列建模的四个设计选择,并衍生出 YAAD、MONETA、MEMORA 三个无注意力模型。

    推荐理由:Google 提出 Titans 架构与 MIRAS 框架,用深度神经网络做长期记忆模块,在超长上下文任务上超过 GPT-4。

  2. Google DeepMind38

    科学家用 AlphaFold 改造光合作用关键酶,培育耐热作物

    密歇根州立大学团队借助 AlphaFold 预测植物与嗜热藻类中甘油酸激酶(GLYK)的 3D 结构,发现植物版 GLYK 的三个柔性环在高温下变形失稳。研究人员用藻类 GLYK 中更刚性的环替换这些不稳定片段,构建的杂合酶中有一个在高达 65 °C 时仍保持稳定,为培育耐热作物提供了路径。

12月4日周四
12月1日周一
11月26日周三
  1. Google DeepMind34

    AlphaFold 五年影响:从蛋白质结构预测到全球科研基础设施

    AlphaFold 2 自 2020 年在 CASP 14 上解决蛋白质结构预测难题以来,其免费开放的 AlphaFold Protein Database 已发布超 2 亿个蛋白质结构预测,被 190 多个国家的 300 多万名研究者使用。该数据库相关研究被引用超 3.5 万篇,另有逾 20 万篇论文在方法中融入了 AlphaFold 2,这项工作于 2024 年获得诺贝尔化学奖。

11月21日周五
11月17日周一
11月11日周二
  1. Google DeepMind38

    Google DeepMind 研究:让 AI 像人类一样“看”世界

    Google DeepMind 在 Nature 发表新研究,提出三步对齐方法,用 THINGS 数据集训练 SigLIP-SO400M 上的适配器生成百万级图像的 AligNet 数据集,再微调其他视觉模型,使其内部表征按人类概念层级重新组织。该方法改善了模型在“odd-one-out”任务上与人类判断的一致性,并提升了鲁棒性与泛化能力。

11月7日周五
11月6日周四
11月5日周三
  1. Google Research38

    Google 发布 ForestCast:用深度学习预测森林砍伐风险

    Google 发布 ForestCast,基于纯卫星数据与 vision transformers 预测森林砍伐风险,并公开首个面向该任务的基准数据集。模型仅用 Landsat 和 Sentinel 2 卫星数据及"变化历史"输入,精度可匹配或超过依赖道路、人口密度等专用地图的传统方法,且可在全球任意区域一致应用。团队同时公开全部输入、训练与评估数据,供社区复现并改进模型。

10月31日周五
10月30日周四
  1. Hugging Face Blog38

    MiniMax M2 如何重新思考智能体泛化:对齐基准还是对齐用户?

    MiniMax M2 在智能体后训练中提出"交错思考"(Interleaved Thinking),让模型在任务任意阶段都能思考,以应对工具输出带来的外部扰动。团队发现单纯扩展工具数量无法带来真正泛化,转而构建覆盖工具信息、系统提示词、用户提示词、环境与工具响应全轨迹的数据管线。内部测试中,M2 在陌生"冷启动"框架下工具调用与指令遵循表现均超出预期。

10月29日周三
  1. Hugging Face Blog65

    Hugging Face 博客:全球算力格局正在如何变化

    Hugging Face 发布博客《On the Shifting Global Compute Landscape》,梳理中国开源权重模型与国产芯片互相牵引的现状:过去几个月,华为昇腾、寒武纪等芯片已开始承载部分高性能开源模型的推理,部分模型开始用国产芯片训练。

    推荐理由:梳理中国开源模型与国产芯片互相牵引的路径,帮助读者理解算力受限如何影响模型架构与部署选择。

10月27日周一
  1. Hugging Face Blog62

    Hugging Face 改进 datasets 流式加载,请求量减少 100 倍

    Hugging Face 发布 datasets 库流式加载的性能改进,保持 streaming=True 的原有 API 不变,数据文件解析速度提升 10 倍、启动请求最多减少 100 倍、流式速度最多提升 2 倍。

    推荐理由:Hugging Face 官方给出流式加载的性能改进细节与配置方式,读者可据此判断大规模训练的数据读取成本。

10月17日周五
10月14日周二
9月26日周五
9月22日周一
9月16日周二
9月12日周五
9月10日周三
9月3日周三
9月1日周一
  1. Berkeley AI Research22

    word2vec 究竟学到了什么?伯克利提出可定量预测的学习理论

    伯克利 AI 研究团队提出首个可定量预测 word2vec 学习过程的理论,证明在实际训练条件下该问题可化简为无权重最小二乘矩阵分解,梯度流动力学有闭式解,最终学到的表示等价于对目标矩阵 M* 做 PCA。从小初始化训练时,word2vec 按离散步骤依次学习正交线性子空间,每步提升嵌入矩阵的秩并降低损失,这些特征即 M* 的顶部特征向量,可由语料统计和超参数预先算出。