跳到正文

#多模态

今日 0 条
6月9日周二
  2. Google DeepMind80

    Google DeepMind 发布 Gemma 4 12B：统一无编码器多模态模型

    Google DeepMind 发布 Gemma 4 12B，一款面向笔记本的智能体多模态模型，采用无编码器统一架构，视觉和音频输入直接进入 LLM 主干。该模型在标准基准上性能接近 26B MoE 模型，内存占用不到其一半，可在 16GB VRAM 或统一内存的消费级笔记本上本地运行，并首次在中等规模模型中支持原生音频输入。

    推荐理由：Gemma 4 12B 用无编码器架构把多模态能力压到 16GB 显存，读者可据此判断本地智能体的硬件门槛。

6月5日周五
  1. Google Research66

    Google 研究用手机前摄实现被动心率监测

    Google 在 Nature 发表研究，提出 PHRM 系统，利用手机前摄在面部解锁后拍摄 8 秒视频，通过深度学习在后台估算心率和静息心率。在自由生活研究中，PHRM 心率估算整体 MAPE 为 6.09%，静息心率相对 Fitbit Charge 6 的 MAE 为 4.39 bpm，并在所有肤色组别达到 MAPE 低于 10%。

    推荐理由：Google 用手机前摄在解锁后被动测心率，并公开最大规模手机视频数据集与预训练模型，可看 rPPG 在真实场景的落地边界。

5月18日周一
  1. Google DeepMind62

    Google DeepMind 为 Project Genie 加入 Street View 真实场景生成能力

    Google DeepMind 在实验性原型 Project Genie 中上线 Street View 接地能力，可基于美国真实地点影像生成可交互世界，并支持沙漠、海洋世界、黑白电影等风格。

    推荐理由：原文给出 Genie 接入 Street View 真实影像后的世界生成方式与开放范围，读者可据此判断世界模型落地路径。

  2. Google DeepMind87

    Google DeepMind 发布 Gemini Omni，首款模型 Gemini Omni Flash 支持对话式视频生成与编辑

    Google DeepMind 发布 Gemini Omni 模型家族，首款模型 Gemini Omni Flash 可组合图像、音频、视频和文本输入生成高质量视频，并支持通过自然语言多轮编辑视频。

    推荐理由：Gemini Omni 把多模态输入与对话式视频编辑结合，读者可了解其能力边界与首发渠道。

5月17日周日
  1. Google DeepMind62

    Google 将 SynthID 与 C2PA 内容验证扩展到 Search、Gemini、Chrome 和 Pixel

    Google 宣布扩展内容透明度与验证工具，把 SynthID 的图像、视频和音频验证从 Gemini 应用扩展到 Search，并将在未来几周进入 Chrome；该验证功能已在全球被使用 5000 万次。

    推荐理由：Google 把 SynthID 与 C2PA 验证铺到 Search、Gemini、Chrome 和 Pixel，读者可了解内容溯源工具的实际覆盖范围。

5月16日周六
  2. Google DeepMind85

    Google DeepMind 发布 Gemini 3.5 Flash

    Google DeepMind 发布 Gemini 3.5 模型系列，首发 3.5 Flash，主打智能体与编码能力，在 Terminal-Bench 2.1 取得 76.2%、GDPval-AA 1656 Elo、MCP Atlas 83.6%，CharXiv Reasoning 多模态理解 84.2%，输出速度是其他前沿模型的 4 倍。

    推荐理由：官方给出 3.5 Flash 在编码与智能体基准上的具体分数和开放入口，可据此判断其速度与成本取舍。

4月30日周四
4月28日周二
  1. Hugging Face Blog74

    NVIDIA 发布 Nemotron 3 Nano Omni：面向文档、音频与视频智能体的长上下文全模态模型

    NVIDIA 发布 Nemotron 3 Nano Omni，一款覆盖文本、图像、视频与音频的全模态理解模型，基于 Nemotron 3 Nano 30B-A3B 骨干，搭配 C-RADIOv4-H 视觉编码器和 Parakeet-TDT-0.6B-v2 音频编码器。

    推荐理由：原文给出架构、训练配方与多模态基准对比，读者可据此判断开源全模态模型在文档、音视频与 GUI 智能体上的能力边界。

4月16日周四
4月13日周一
  1. Google DeepMind66

    Google DeepMind 发布 Gemini Robotics-ER 1.6，增强具身推理与仪表读数

    Google DeepMind 发布 Gemini Robotics-ER 1.6，这是其推理优先机器人模型的升级版，强化了空间推理与多视角理解，并新增仪表读数能力，可读取压力表、液位计和数字读数。

    推荐理由：官方给出与上一代及 Gemini 3.0 Flash 的对比，并说明仪表读数等新能力如何落地机器人巡检。

4月9日周四
  1. Hugging Face Blog60

    Sentence Transformers v5.4 支持多模态嵌入与重排模型

    Sentence Transformers 发布 v5.4，可在同一套 API 下编码和比较文本、图像、音频与视频，并支持多模态重排模型。新增能力覆盖跨模态相似度、encode_query/encode_document 检索流程以及先检索再重排的 RAG 模式，官方同时列出了 Qwen3-VL、NVIDIA、BGE-VL 等已支持模型。

    推荐理由：官方给出 v5.4 多模态嵌入与重排的完整用法和模型清单，可据此评估跨模态检索的落地成本。

4月3日周五
4月2日周四
4月1日周三
  1. Hugging Face Blog60

    TII 发布 Falcon Perception 与 Falcon OCR 模型

    TII 的 Falcon Vision 团队发布 Falcon Perception，一个 0.6B 参数的早期融合 Transformer，用自然语言提示做开放词表定位与分割，在 SA-Co 上达到 68.0 Macro-F1，高于 SAM 3 的 62.3，但在存在性校准上落后（MCC 0.64 对 0.82）。

    推荐理由：原文给出 0.6B 早期融合模型在 SA-Co 与 PBench 上的分项对比，可据此判断单骨干感知路线相对模块化管线的取舍。

3月31日周二
  1. Hugging Face Blog62

    IBM 发布 Granite 4.0 3B Vision 企业文档多模态模型

    IBM 发布 Granite 4.0 3B Vision，一款面向企业文档理解的紧凑视觉语言模型，以 LoRA 适配器形式叠加在 Granite 4.0 Micro 之上，采用 Apache 2.0 许可并在 Hugging Face 上线。

    推荐理由：Granite 4.0 3B Vision 以 3B 规模在图表与表格抽取基准上超过更大模型，并给出 LoRA 适配器与 Docling 集成路径。

3月29日周日
  1. Google DeepMind52

    Google DeepMind 为 AI 时代重新设计鼠标指针

    Google DeepMind 公布 AI 指针的四条交互原则，并展示由 Gemini 驱动的实验性指针演示，用户可通过指向和语音在 Google AI Studio 中编辑图片或查找地点。该指针已开始集成到 Chrome，用户可用指针选中网页内容让 Gemini 处理，Googlebook 也将推出 Magic Pointer。研究团队称这些原则旨在把传达上下文和意图的工作从用户转移到计算机。

3月26日周四
3月25日周三
3月18日周三
3月17日周二
  2. Mistral AI78

    Mistral 发布 Mistral Small 4，统一推理、多模态与编码能力

    Mistral AI 发布 Mistral Small 4，这是 Mistral Small 系列的下一个重要版本，也是 Mistral 首个把 Magistral 的推理、Pixtral 的多模态和 Devstral 的智能体编码能力统一到单一模型中的模型，采用 Apache 2.0 许可开源。

    推荐理由：Mistral 首次把推理、多模态与编码能力合并进单一小模型，并给出可调推理强度与部署门槛。

3月6日周五
3月4日周三
  1. Google DeepMind66

    Google DeepMind 发布 Gemini 3.1 Flash-Lite

    Google DeepMind 发布 Gemini 3.1 Flash-Lite，这是 Gemini 3 系列中速度最快、成本最低的模型，已在 Google AI Studio 和 Vertex AI 以预览形式向开发者开放。

    推荐理由：官方给出定价、速度与基准数据，读者可据此判断高并发场景下是否值得替换 2.5 Flash。

2月27日周五
2月19日周四
  1. Google DeepMind71

    Gemini 应用上线 Lyria 3 音乐生成，支持文本与图片生成 30 秒曲目

    Google DeepMind 的最新音乐生成模型 Lyria 3 以 beta 形式在 Gemini 应用中上线，用户用文本或上传图片、视频即可生成 30 秒带歌词或纯音乐的曲目，并附由 Nano Banana 生成的封面图。

    推荐理由：官方披露 Lyria 3 在 Gemini 应用中的生成方式、语言覆盖与 SynthID 音频验证，可据此判断音乐生成的实际可用边界。

2月18日周三
2月11日周三
2月10日周二
2月5日周四
1月30日周五
  1. Google DeepMind71

    Google DeepMind 向美国 AI Ultra 订阅用户开放 Project Genie 世界模型原型

    Google DeepMind 开始向美国 18 岁以上的 Google AI Ultra 订阅用户开放 Project Genie，这是一个由 Genie 3、Nano Banana Pro 和 Gemini 驱动的实验性研究原型，支持创建、探索和混编交互式世界。

    推荐理由：官方披露了原型的三项核心能力与已知限制，读者可据此判断世界模型当前能做什么、还差什么。

1月23日周五
  1. Google Research32

    Google 研究：用小模型分解式方法实现更优用户意图提取

    Google Research 在 EMNLP 2025 发表的论文提出分解式意图提取方法：先用小型多模态 LLM 逐屏总结用户交互，再从摘要序列中提取意图，在移动端和网页轨迹上均优于 CoT 与端到端微调。该方法用 Gemini 1.5 Flash 8B 即可达到 Gemini 1.5 Pro 相当的效果，成本与速度更优，适用于端侧部署。

1月16日周五
  1. Google DeepMind62

    Google DeepMind 发布 D4RT 模型，统一 4D 场景重建与追踪

    Google DeepMind 发布 D4RT（Dynamic 4D Reconstruction and Tracking），一个统一 4D 场景重建与追踪的 AI 模型，采用编码器-解码器 Transformer 架构和查询机制，可同时完成点追踪、点云重建和相机位姿估计。

    推荐理由：D4RT 把 4D 重建统一进单一查询式框架，效率提升幅度和实时应用场景是主要看点。

1月14日周三
  1. Google Research62

    Google 发布 MedGemma 1.5 4B 与医疗语音识别模型 MedASR

    Google 发布 MedGemma 1.5 4B，新增对 CT、MRI 和全切片病理等高维医学影像的支持，并保留 2D 图像与文本能力。官方称其在 CT 病变分类上绝对准确率较 MedGemma 1 提升 3%（61% vs. 58%），MRI 提升 14%（65% vs. 51%），MedQA 提升 5%（69% vs. 64%）。

    推荐理由：官方给出 MedGemma 1.5 与 MedASR 的基准对比和开源入口，可据此判断医疗多模态模型的可用边界。

  2. Google DeepMind71

    Google DeepMind 更新 Veo 3.1 Ingredients to Video，新增竖屏输出与 1080p/4K 放大

    Google DeepMind 更新 Veo 3.1 Ingredients to Video，让基于参考图生成的视频在简单提示词下更富表现力，并提升角色身份、背景与物体的一致性。

    推荐理由：原文列出 Veo 3.1 Ingredients to Video 在角色一致性、竖屏输出和 1080p/4K 上的具体变化，可据此判断视频生成工作流能怎么调整。

1月6日周二