文本之外的能力：视觉理解、图文混合、音视频输入输出的模型与产品进展。
Thinking Machines 在 Hugging Face 发布 Inkling，一个约 1T 参数、支持 1M 上下文、原生接收图像文本音频输入的开源多模态 MoE 模型，同时发布 276B 总参数 12B 激活参数的 Inkling-Small。
推荐理由：原文给出 Inkling 的架构细节、部署配置与基准对比，读者可据此判断这一开源多模态模型的落地门槛。
Mistral AI 发布首个具身导航模型 Robostral Navigate，这是一个 8B 模型，仅用单个普通 RGB 相机、无需 LiDAR 或深度传感器，在 R2R-CE validation unseen 上达到 76.6% 成功率，比最佳单相机方案高 9.7 个百分点，比使用深度或多相机的最佳系统高 4.5 个百分点。
推荐理由：原文给出单目 RGB 相机在 R2R-CE 上的成绩与训练方法，读者可据此判断具身导航的能力边界。
Google DeepMind 发布 Nano Banana 2 Lite（gemini-3.1-flash-lite-image）和 Gemini Omni Flash（gemini-omni-flash-preview）两款模型。
推荐理由：两款新模型给出了延迟、单价和可用入口，读者可据此判断图像与视频生成链路的成本与选型。
Mistral 发布 OCR 4，在提取文本之外新增边界框、块类型分类和逐页逐词置信度，支持 170 种语言，可单容器自托管部署。官方称独立标注者在 600+ 份文档的盲评中平均 72% 更偏好 OCR 4，并在 OlmOCRBench 上取得 85.20 的最高分。
推荐理由：官方给出 OCR 4 的边界框、块分类与置信度输出，以及自托管和定价细节，便于判断其在 RAG 与智能体流程中的接入方式。
Google DeepMind 发布 Gemini 3.5 Live Translate，一款支持 70 多种语言的近实时语音到语音翻译音频模型，能自动检测语言并保留说话人的语调、节奏和音高。
推荐理由：官方披露了连续生成式语音翻译的取舍思路，以及它在 Google 各产品线的开放节奏。
Google DeepMind 发布 Gemma 4 12B，一款面向笔记本的智能体多模态模型，采用无编码器统一架构，视觉和音频输入直接进入 LLM 主干。该模型在标准基准上性能接近 26B MoE 模型，内存占用不到其一半，可在 16GB VRAM 或统一内存的消费级笔记本上本地运行，并首次在中等规模模型中支持原生音频输入。
推荐理由：Gemma 4 12B 用无编码器架构把多模态能力压到 16GB 显存，读者可据此判断本地智能体的硬件门槛。
作者让一个编码智能体通过调用两个 Hugging Face Space 搭建了展示巴黎地标的 3D Gaussian splat 网站，全程未手动打开图像生成或 3D 重建工具。
推荐理由：作者用一次真实搭建演示了 agents.md 如何让智能体串联两个 Space 完成图像到 3D 的流水线，可迁移到其他多媒体组合。
Google 在 Nature 发表研究，提出 PHRM 系统，利用手机前摄在面部解锁后拍摄 8 秒视频，通过深度学习在后台估算心率和静息心率。在自由生活研究中，PHRM 心率估算整体 MAPE 为 6.09%，静息心率相对 Fitbit Charge 6 的 MAE 为 4.39 bpm，并在所有肤色组别达到 MAPE 低于 10%。
推荐理由：Google 用手机前摄在解锁后被动测心率，并公开最大规模手机视频数据集与预训练模型，可看 rPPG 在真实场景的落地边界。
Google DeepMind 在实验性原型 Project Genie 中上线 Street View 接地能力，可基于美国真实地点影像生成可交互世界，并支持沙漠、海洋世界、黑白电影等风格。
推荐理由：原文给出 Genie 接入 Street View 真实影像后的世界生成方式与开放范围，读者可据此判断世界模型落地路径。
Google DeepMind 发布 Gemini Omni 模型家族，首款模型 Gemini Omni Flash 可组合图像、音频、视频和文本输入生成高质量视频，并支持通过自然语言多轮编辑视频。
推荐理由：Gemini Omni 把多模态输入与对话式视频编辑结合，读者可了解其能力边界与首发渠道。
Google 宣布扩展内容透明度与验证工具，把 SynthID 的图像、视频和音频验证从 Gemini 应用扩展到 Search，并将在未来几周进入 Chrome；该验证功能已在全球被使用 5000 万次。
推荐理由：Google 把 SynthID 与 C2PA 验证铺到 Search、Gemini、Chrome 和 Pixel，读者可了解内容溯源工具的实际覆盖范围。
Google DeepMind 发布 Gemini 3.5 模型系列，首发 3.5 Flash，主打智能体与编码能力，在 Terminal-Bench 2.1 取得 76.2%、GDPval-AA 1656 Elo、MCP Atlas 83.6%，CharXiv Reasoning 多模态理解 84.2%，输出速度是其他前沿模型的 4 倍。
推荐理由：官方给出 3.5 Flash 在编码与智能体基准上的具体分数和开放入口，可据此判断其速度与成本取舍。
Google DeepMind 宣布 AI co-clinician 研究计划，探索 AI 智能体在医生临床监督下协助患者诊疗。
推荐理由：Google DeepMind 公布 AI co-clinician 研究计划，给出医生盲评与远程问诊模拟中的具体对比结果。
NVIDIA 发布 Nemotron 3 Nano Omni，一款覆盖文本、图像、视频与音频的全模态理解模型，基于 Nemotron 3 Nano 30B-A3B 骨干，搭配 C-RADIOv4-H 视觉编码器和 Parakeet-TDT-0.6B-v2 音频编码器。
推荐理由：原文给出架构、训练配方与多模态基准对比，读者可据此判断开源全模态模型在文档、音视频与 GUI 智能体上的能力边界。
Sentence Transformers 发布 v5.4，可在同一套 API 下编码和比较文本、图像、音频与视频，并支持多模态重排模型。新增能力覆盖跨模态相似度、encode_query/encode_document 检索流程以及先检索再重排的 RAG 模式，官方同时列出了 Qwen3-VL、NVIDIA、BGE-VL 等已支持模型。
推荐理由：官方给出 v5.4 多模态嵌入与重排的完整用法和模型清单，可据此评估跨模态检索的落地成本。
Google DeepMind 的 Gemma 4 多模态模型家族已在 Hugging Face 上线，采用 Apache 2 许可，支持图像、文本和音频输入并生成文本。
推荐理由：Gemma 4 以 Apache 2 许可开放五个尺寸并覆盖音频与端侧部署，读者可据此判断开源多模态模型的可用边界。
TII 的 Falcon Vision 团队发布 Falcon Perception，一个 0.6B 参数的早期融合 Transformer，用自然语言提示做开放词表定位与分割，在 SA-Co 上达到 68.0 Macro-F1，高于 SAM 3 的 62.3，但在存在性校准上落后（MCC 0.64 对 0.82）。
推荐理由：原文给出 0.6B 早期融合模型在 SA-Co 与 PBench 上的分项对比，可据此判断单骨干感知路线相对模块化管线的取舍。
IBM 发布 Granite 4.0 3B Vision，一款面向企业文档理解的紧凑视觉语言模型，以 LoRA 适配器形式叠加在 Granite 4.0 Micro 之上，采用 Apache 2.0 许可并在 Hugging Face 上线。
推荐理由：Granite 4.0 3B Vision 以 3B 规模在图表与表格抽取基准上超过更大模型，并给出 LoRA 适配器与 Docling 集成路径。
H Company 发布 Holotron-12B，一个基于 NVIDIA Nemotron-Nano-2 VL 后训练的多模态 computer-use 模型，现已上线 Hugging Face，采用 NVIDIA Open Model License。
推荐理由：原文给出模型架构、吞吐对比与基准提升，读者可据此判断它在高并发 computer-use 场景的可用性。
Mistral AI 发布 Mistral Small 4，这是 Mistral Small 系列的下一个重要版本，也是 Mistral 首个把 Magistral 的推理、Pixtral 的多模态和 Devstral 的智能体编码能力统一到单一模型中的模型，采用 Apache 2.0 许可开源。
推荐理由：Mistral 首次把推理、多模态与编码能力合并进单一小模型，并给出可调推理强度与部署门槛。