中国开源 AI 生态的架构选择:超越 DeepSeek 之后
中国开源模型已几乎一致转向 MoE 架构,Kimi K2、MiniMax M2、Qwen3 均采用该路线,以在成本约束下兼顾能力与灵活部署。0.5B–30B 小模型成为本地运行与微调主力,Apache 2.0 接近默认许可证。DeepSeek-V3.2-Exp 获华为昇腾与寒武纪 day-zero 支持,蚂蚁 Ling 用国产芯片训练 1 万亿 token 成本降约 20%。
中国开源模型已几乎一致转向 MoE 架构,Kimi K2、MiniMax M2、Qwen3 均采用该路线,以在成本约束下兼顾能力与灵活部署。0.5B–30B 小模型成为本地运行与微调主力,Apache 2.0 接近默认许可证。DeepSeek-V3.2-Exp 获华为昇腾与寒武纪 day-zero 支持,蚂蚁 Ling 用国产芯片训练 1 万亿 token 成本降约 20%。
Hugging Face 推出 Alyah(الياه,意为北极星)基准,用于评估阿拉伯语 LLM 对阿联酋方言的语言、文化与语用理解能力。该基准含 1,173 条由阿联酋母语者手工采集的样本,均为四选一选择题,覆盖问候、诗歌、遗产知识等七类内容。团队共评测 54 个模型,其中 google/gemma-3-27b-pt 以 74.68 的准确率居首。
OpenAI 推出 Prism,一个内置 GPT-5.2 的免费 LaTeX 原生工作空间,帮助研究人员在同一处完成写作、协作与推理。
Google Research 在 NeurIPS 2025 提出 GIST(Greedy Independent Set Thresholding)算法,用于训练数据子集选择,在图像分类等任务上超越现有基准,并首次为该多样性-效用权衡提供可证明的近似保证——所选子集价值至少达到最优解的一半。GIST 通过将多样性-效用问题拆解为一系列最大独立集问题,用双准则贪心算法在多个距离阈值上逼近求解。
微软团队发布 Differential Transformer V2,通过为每个 token 和每个 head 投影 λ 并只增加 query head 数量、保持 KV head 不变,使解码速度与标准 Transformer 持平且无需自定义注意力 kernel。
推荐理由:微软团队给出 Differential Transformer V2 的注意力实现与消融对比,读者可了解差分注意力在解码速度与训练稳定性上的取舍。
Google Research 利用 Android Auto 的匿名聚合急刹车事件(HBE,前向减速度超过 -3m/s²)数据,结合弗吉尼亚州和加州 10 年公开碰撞数据,通过负二项回归模型证实 HBE 频率与路段碰撞率呈显著正相关。
Google Research 在 Science Advances 发表论文,介绍混合模型 NeuralGCM 直接使用 NASA 2001 至 2018 年卫星降水观测训练其机器学习部分,而非依赖再分析数据。
推荐理由:NeuralGCM 改用卫星降水观测训练后,在 15 天预报与数十年气候模拟上均优于传统模型,读者可了解混合建模路线的具体收益。
伯克利 AI Research 提出一种基于互信息的成像系统评估与优化框架,仅用带噪测量和噪声模型即可量化信息含量,无需重建算法或任务专用解码器。该框架在彩色摄影、射电天文、无镜头成像和显微成像四个领域预测了解码器性能,优化后的设计达到端到端方法水平,且内存和算力需求更低。相关论文发表于 NeurIPS 2025。
Hugging Face 发布 Falcon-H1-Arabic 阿拉伯语模型系列,含 3B、7B、34B 三个规模,采用 Mamba 与 Transformer 注意力并行的 Falcon-H1 混合架构。
Hugging Face 发布 Transformers v5,将 tokenizer 架构与训练词表分离,类似 PyTorch 分离网络结构与权重,使 tokenizer 可检查、可定制、可从零训练。v5 引入清晰的类层级和单一快速后端,并保留 BPE、Unigram、WordPiece 等算法支持。
Google Research 在 COLM 2025 论文中提出 Urania 框架,通过差分隐私(DP)聚类与 DP 关键词提取,从 LLM 聊天机器人对话中生成使用洞察,且不依赖 LLM 自行脱敏。该框架用隐私预算 ε 提供端到端数学保证,LLM 仅基于匿名关键词生成摘要,不接触原始对话。对比非隐私基线 Simple-CLIO,DP 摘要最高有 70% 的概率被 LLM 评估者偏好。
Google DeepMind 宣布深化与英国政府的合作,向英国科学家优先开放 AlphaEvolve、AlphaGenome、AI co-scientist 和 WeatherNext 等"AI for Science"模型,并将在 2026 年于英国建立其首个自动化材料科学实验室,该实验室将与 Gemini 全面集成。
Google Research 发布 Titans 架构和 MIRAS 理论框架,将 RNN 的速度与 Transformer 的精度结合,实现测试时记忆。Titans 用深度神经网络作为长期记忆模块,通过 surprise 指标、动量和自适应权重衰减选择性存储信息;MIRAS 则统一了序列建模的四个设计选择,并衍生出 YAAD、MONETA、MEMORA 三个无注意力模型。
推荐理由:Google 提出 Titans 架构与 MIRAS 框架,用深度神经网络做长期记忆模块,在超长上下文任务上超过 GPT-4。
密歇根州立大学团队借助 AlphaFold 预测植物与嗜热藻类中甘油酸激酶(GLYK)的 3D 结构,发现植物版 GLYK 的三个柔性环在高温下变形失稳。研究人员用藻类 GLYK 中更刚性的环替换这些不稳定片段,构建的杂合酶中有一个在高达 65 °C 时仍保持稳定,为培育耐热作物提供了路径。
Intel AI Software Group 发布 DeepMath,一个基于 Qwen3-4B Thinking、用 GRPO 微调的轻量级数学推理 Agent,通过 smolagents 生成 Python 片段并在沙箱执行,将输出长度最多缩短 66%,同时在 MATH500、AIME、HMMT、HLE 等基准上提升准确率。
Google Research 在 NeurIPS 2025 发布大规模声音嵌入基准 MSEB,用统一框架评测检索、推理、分类、转录、分割、聚类、重排与重建八项听觉能力。
Hugging Face 发布 Transformers v5.0.0rc-0,距 v4 首个候选版已五年,如今该库每天通过 pip 安装超 300 万次,累计安装量突破 12 亿。
推荐理由:官方梳理了 v5 在简化模型定义、训练与推理上的改动,可据此判断生态工具链的兼容方向。
AlphaFold 2 自 2020 年在 CASP 14 上解决蛋白质结构预测难题以来,其免费开放的 AlphaFold Protein Database 已发布超 2 亿个蛋白质结构预测,被 190 多个国家的 300 多万名研究者使用。该数据库相关研究被引用超 3.5 万篇,另有逾 20 万篇论文在方法中融入了 AlphaFold 2,这项工作于 2024 年获得诺贝尔化学奖。
Hugging Face TRL 官方集成 RapidFire AI,用户可用 RFSFTConfig、RFDPOConfig、RFGRPOConfig 近乎零代码替换原有 SFT/DPO/GRPO 配置,并发运行多个微调配置。
推荐理由:官方集成给出了并发配置对比的调度机制与实测加速数据,可据此判断微调实验流程能压缩多少时间。
Google DeepMind 与 Google Research 发布 WeatherNext 2,称其生成预报速度提升 8 倍,分辨率最高可达 1 小时。
推荐理由:原文给出生成速度、分辨率与可用入口,读者可据此判断该模型在天气预报工作流中的位置。
Google Research 与 Google DeepMind 联合发布 Natural Forests of the World 2020,这是首个全球一致、10 米分辨率、区分天然林与其他树冠的地图与数据集,论文发表于 Nature Scientific Data。
Google 发布 JAX-Privacy 1.0,这是基于 JAX 构建的差分隐私工具库,支持 DP-SGD、DP-FTRL 及 DP matrix factorization 等算法,并可与 JAX 原生并行能力配合实现数据与模型并行。新版本重新设计以提升模块化,内置微批处理与 padding 以处理大规模变长批次,并基于 Google 的 DP 核算库提供噪声校准与审计工具。
Google DeepMind 在 Nature 发表新研究,提出三步对齐方法,用 THINGS 数据集训练 SigLIP-SO400M 上的适配器生成百万级图像的 AligNet 数据集,再微调其他视觉模型,使其内部表征按人类概念层级重新组织。该方法改善了模型在“odd-one-out”任务上与人类判断的一致性,并提升了鲁棒性与泛化能力。
Google Research 在 NeurIPS 2025 论文中提出 Nested Learning,将模型架构与优化算法统一为多层嵌套的优化问题,并给出概念验证架构 Hope。Hope 是 Titans 架构的变体,在语言建模上表现更优,长上下文记忆管理优于现有 SOTA 模型。该范式还衍生出深度优化器和连续记忆系统(CMS)等改进方向。
Google 推出数据科学智能体 DS-STAR,通过数据文件分析、LLM 评判验证与顺序规划三项创新,在 DABStep、KramaBench、DA-Code 上均超越 AutoGen 和 DA-Agent,准确率分别从 41.0% 提升至 45.2%、39.8% 至 44.7%、37.0% 至 38.5%,并登顶 DABStep 公开榜单。
Google 发布三项生物圈研究成果:与 World Resources Institute 合作开发森林流失驱动因素模型,以 1km² 分辨率覆盖 2000-2024 年,并开放 30 米尺度砍伐风险预测基准数据集。
Google 发布 ForestCast,基于纯卫星数据与 vision transformers 预测森林砍伐风险,并公开首个面向该任务的基准数据集。模型仅用 Landsat 和 Sentinel 2 卫星数据及"变化历史"输入,精度可匹配或超过依赖道路、人口密度等专用地图的传统方法,且可在全球任意区域一致应用。团队同时公开全部输入、训练与评估数据,供社区复现并改进模型。
Google Research 在 Research@MTV 活动上公布三项最新突破:Google Earth AI、DeepSomatic 与 Quantum Echoes。
MiniMax M2 在智能体后训练中提出"交错思考"(Interleaved Thinking),让模型在任务任意阶段都能思考,以应对工具输出带来的外部扰动。团队发现单纯扩展工具数量无法带来真正泛化,转而构建覆盖工具信息、系统提示词、用户提示词、环境与工具响应全轨迹的数据管线。内部测试中,M2 在陌生"冷启动"框架下工具调用与指令遵循表现均超出预期。
Hugging Face 发布博客《On the Shifting Global Compute Landscape》,梳理中国开源权重模型与国产芯片互相牵引的现状:过去几个月,华为昇腾、寒武纪等芯片已开始承载部分高性能开源模型的推理,部分模型开始用国产芯片训练。
推荐理由:梳理中国开源模型与国产芯片互相牵引的路径,帮助读者理解算力受限如何影响模型架构与部署选择。
Hugging Face 发布 datasets 库流式加载的性能改进,保持 streaming=True 的原有 API 不变,数据文件解析速度提升 10 倍、启动请求最多减少 100 倍、流式速度最多提升 2 倍。
推荐理由:Hugging Face 官方给出流式加载的性能改进细节与配置方式,读者可据此判断大规模训练的数据读取成本。
Hugging Face 发起 AI for Food Allergies 项目,计划打造首个社区驱动的研究实验室,探索 AI 如何推进食物过敏研究。全球约 2.2 亿人患有至少一种食物过敏,美国约占总人口 10%。项目将连接前沿 AI 与生物医学,开发开放协作项目,服务研究者、临床医生和患者。
NVIDIA 发布首个开放合成印度人物画像数据集 Nemotron-Personas-India,基于 NeMo Data Designer 构建,含 2100 万人物画像、77 亿 token,覆盖英语与印地语(天城文及拉丁文),涵盖印度全部 36 个邦和 640 个地区,采用 CC BY 4.0 许可。
NVIDIA 发布首个面向日本的主权 AI 开源合成数据集 Nemotron-Personas-Japan,含 600 万条日语 persona(100 万条记录、每条 6 个 persona),总 token 约 14 亿,采用 CC BY 4.0 许可。
Hugging Face 发布 SyGra,一个面向 LLM 与 SLM 的低代码/无代码数据构建框架,用于数据集的创建、转换与对齐。它支持 vLLM、Hugging Face TGI、Triton、Ollama 等多种推理后端,可生成 Q&A、DPO 偏好对、推理及多语言数据,覆盖 SFT、DPO、RAG 等场景。
Hugging Face 发布 LeRobotDataset v3.0,将多个 episode 打包进单个文件,用关系型元数据在 episode 级别检索信息,解决 v2 单文件单 episode 在百万级数据集上的文件系统瓶颈。
WRITER 发布 Palmyra-mini 系列三款开源模型,参数规模 1.5B 至 1.7B,包括非思考基础版 palmyra-mini 及两个推理变体 palmyra-mini-thinking-a 和 palmyra-mini-thinking-b。
Hugging Face 发布 Jupyter Agent 项目,通过清洗约 2TB Kaggle notebook 构建 51k 合成 notebook、近 0.2B token 的数据集,并用 TRL 全参数微调 Qwen3-4B。
推荐理由:完整披露了从 Kaggle notebook 清洗到 SFT 的数据管线与消融结果,可迁移到其他小模型智能体训练。
SandboxAQ 将其 Structurally Augmented IC50 Repository(SAIR)数据集上线 Hugging Face,以 CC BY 4.0 许可免费开放,包含 5.24 million 个 AI 生成的蛋白质-配体 3D 复合物结构,每个结构均配 ChEMBL 或 BindingDB 的实验 IC₅₀ 数据。
伯克利 AI 研究团队提出首个可定量预测 word2vec 学习过程的理论,证明在实际训练条件下该问题可化简为无权重最小二乘矩阵分解,梯度流动力学有闭式解,最终学到的表示等价于对目标矩阵 M* 做 PCA。从小初始化训练时,word2vec 按离散步骤依次学习正交线性子空间,每步提升嵌入矩阵的秩并降低损失,这些特征即 M* 的顶部特征向量,可由语料统计和超参数预先算出。