Google DeepMind 发布 Decoupled DiLoCo 分布式训练架构
Google DeepMind 发布 Decoupled DiLoCo 分布式训练架构,把大规模训练拆分为解耦的计算“岛屿”,岛屿间异步传输数据,从而隔离局部硬件故障。
推荐理由:原文给出分布式训练新架构的带宽、容错与跨代硬件实测数据,可据此判断大规模预训练基础设施的演进方向。
把模型跑起来的工程实践:推理优化、显存与成本、Serving 架构与基础设施选型。
Google DeepMind 发布 Decoupled DiLoCo 分布式训练架构,把大规模训练拆分为解耦的计算“岛屿”,岛屿间异步传输数据,从而隔离局部硬件故障。
推荐理由:原文给出分布式训练新架构的带宽、容错与跨代硬件实测数据,可据此判断大规模预训练基础设施的演进方向。
OpenAI 在 ChatGPT 中推出工作区智能体(workspace agents),由 Codex 驱动,可自动化复杂工作流并在云端运行。官方称其能帮助团队跨工具安全地扩展工作。
推荐理由:官方给出 ChatGPT 工作区智能体的定位与云端运行方式,可据此判断团队自动化流程的形态。
Hugging Face 发布 gradio.Server,它扩展自 FastAPI,让开发者用 React、Svelte 或原生 HTML/JS 等任意前端搭配 Gradio 的队列、SSE 流式、并发控制和 gradio_client 兼容能力。
推荐理由:原文给出 gradio.Server 的完整后端示例,读者可据此判断自带前端与 Gradio 队列、ZeroGPU 如何配合。
Anthropic 正在限制 Pro/Max 订阅者在开放智能体平台中访问 Claude 模型,Hugging Face 给出两条把 OpenClaw、Pi 或 Open Code 智能体迁移到开源模型的路径。
推荐理由:给出两条把 OpenClaw 等智能体从 Claude 迁到开源模型的路径,含具体命令与配置,可直接照做。
Google 发布 TurboQuant 压缩算法,并配套提出 QJL 和 PolarQuant,用于解决向量量化中的内存开销问题,三篇工作将分别亮相 ICLR 2026 和 AISTATS 2026。
推荐理由:Google 提出三种向量量化算法,在 KV cache 压缩与向量搜索上给出可复用的压缩思路与基准结果。
NVIDIA 发布一套嵌入模型微调流程,用单张 GPU 和不到一天时间把通用嵌入模型改造成理解特定领域的模型,无需人工标注。流程基于 Llama-Nemotron-Embed-1B-v2,用 LLM 从领域文档生成合成问答对、挖掘难负样本并做多跳展开,再用对比学习微调。
推荐理由:给出从合成数据生成到部署的完整嵌入模型微调流程,含 Atlassian 实测提升数据,可迁移到自有领域语料。
Mistral AI 推出 Forge,一套让企业基于自有专有知识构建前沿级 AI 模型的系统,支持预训练、后训练和强化学习等阶段。Forge 支持 dense 与 MoE 架构,并可按需支持多模态输入,模型可在企业自有基础设施内训练和治理。该平台以 Agent 优先设计,Mistral Vibe 等自主智能体可用其微调模型、寻找最优超参数、调度任务并生成合成数据,用户只需用自然语言即可定制模型。
推荐理由:Forge 把预训练、后训练与强化学习打包成企业自建模型的入口,读者可据此判断企业级定制模型的落地路径。
Hugging Face 在 Hub 上推出 Storage Buckets,一种非版本化的 S3 风格对象存储,用于存放 checkpoint、优化器状态、处理后的数据分片和 Agent traces 等频繁变动的中间产物。
推荐理由:Hugging Face 官方发布可变对象存储 Buckets,读者可据此判断训练中间产物该放在哪一层。
OpenAI 公布其与美国国防部(Department of War)的合同细节,内容涵盖安全红线、法律保护条款,以及 AI 系统在涉密环境中的部署方式。
推荐理由:OpenAI 官方披露与国防部门合同的边界条款,可了解 AI 进入涉密环境的合规与安全约束。
OpenAI 与 Amazon 宣布战略合作,将 OpenAI 的 Frontier 平台引入 AWS,并扩展 AI 基础设施、定制模型和企业级 AI 智能体。
推荐理由:OpenAI 与 Amazon 达成战略合作,读者可据此了解前沿模型平台进入 AWS 生态后的企业落地路径。
Hugging Face 发文介绍 transformers 库为 Mixture of Experts 模型所做的工程改造,涵盖权重加载重构、专家后端与专家并行三部分。
推荐理由:Hugging Face 官方拆解 transformers 为 MoE 做的加载、后端与并行改造,并给出 v4 与 v5 的加载耗时对比。
Hugging Face 宣布 GGML(llama.cpp 的创建者)加入 HF,Georgi Gerganov 及团队一同加入,目标是持续支持 ggml 与 llama.cpp 社区,推动本地 AI 发展。
推荐理由:GGML 与 llama.cpp 团队加入 Hugging Face,读者可了解本地推理项目在资源与维护方式上的变化。
Gradio 6 的 gr.HTML 现已支持自定义模板、作用域 CSS 和 JavaScript 交互,可让 Claude 等前沿 LLM 一次性生成前端、后端和状态管理,全部写在一个 Python 文件里,无需构建步骤即可部署到 Hugging Face Spaces。
推荐理由:原文给出 gr.HTML 的三模板 API 与单文件示例,读者可据此判断如何让 LLM 一次生成可部署的交互组件。
Hugging Face 构建了一个 Agent Skill,教编码智能体编写生产级 CUDA kernel,并让 Claude 和 Codex 分别针对 diffusers 的 LTX-Video 和 transformers 的 Qwen3-8B 生成可用 kernel,包含正确的 PyTorch 绑定与基准测试。
推荐理由:Hugging Face 把 CUDA kernel 开发知识封装成 Agent Skill,并给出两个真实模型的端到端基准数据,可据此判断这类技能包的实际收益。
Transformers.js v4 已在 NPM 发布,可通过 npm i @huggingface/transformers 安装。最大变化是采用完全用 C++ 重写的 WebGPU 运行时,与 ONNX Runtime 团队在约 200 个模型架构上测试,同一份代码可运行在浏览器、Node、Bun 和 Deno 等环境。
推荐理由:Transformers.js v4 换用 C++ 重写的 WebGPU 运行时,并给出 BERT 嵌入约 4 倍加速等具体数据,可据此判断浏览器端推理的性能变化。
OpenAI 宣布与 Cerebras 合作,新增 750MW 高速 AI 算力,用于降低推理延迟。该合作旨在让 ChatGPT 在实时 AI 工作负载下响应更快。
推荐理由:OpenAI 与 Cerebras 达成算力合作,读者可了解其新增算力规模与对推理延迟的直接影响。
OpenAI 与软银集团合作,联合 SB Energy 开发多吉瓦级 AI 数据中心园区,其中包括一座位于得克萨斯州、容量 1.2 GW 的设施,用于支持 Stargate 计划。
推荐理由:OpenAI 与软银、SB Energy 合作建设多吉瓦数据中心,可了解 Stargate 的算力落地规模。
NVIDIA 发布开源推理视觉语言模型 Cosmos Reason 2,面向物理 AI,在 Physical AI Bench 和 Physical Reasoning 榜单上成为排名第一的开源视觉理解模型。
推荐理由:NVIDIA 开源视觉语言模型 Cosmos Reason 2 的升级细节,读者可据此判断物理 AI 场景的可用能力。
Mistral 发布文档解析模型 Mistral OCR 3,在表单、扫描件、复杂表格和手写内容上相对 Mistral OCR 2 的整体胜率为 74%,官方称其准确率超过企业级文档处理方案和 AI 原生 OCR 方案。
推荐理由:官方给出 Mistral OCR 3 相对上一代的胜率、定价与自托管选项,便于判断文档解析的落地成本。
llama.cpp server 新增 router 模式,可在不重启服务的情况下动态加载、卸载和切换多个模型。该模式采用多进程架构,每个模型独立运行,单个模型崩溃不影响其他模型;支持从 llama.cpp 缓存或 --models-dir 目录自动发现 GGUF 文件,按需加载,并在达到 --models-max(默认 4)时按 LRU 策略卸载最久未用的模型。
推荐理由:llama.cpp server 新增 router 模式,读者可据此了解本地多模型动态切换与显存管理方式。