跳到正文

#多模态

今日 1 条
2月10日周二
2月5日周四
1月30日周五
  1. Google DeepMind71

    Google DeepMind 向美国 AI Ultra 订阅用户开放 Project Genie 世界模型原型

    Google DeepMind 开始向美国 18 岁以上的 Google AI Ultra 订阅用户开放 Project Genie,这是一个由 Genie 3、Nano Banana Pro 和 Gemini 驱动的实验性研究原型,支持创建、探索和混编交互式世界。

    推荐理由:官方披露了原型的三项核心能力与已知限制,读者可据此判断世界模型当前能做什么、还差什么。

1月23日周五
  1. Google Research32

    Google 研究:用小模型分解式方法实现更优用户意图提取

    Google Research 在 EMNLP 2025 发表的论文提出分解式意图提取方法:先用小型多模态 LLM 逐屏总结用户交互,再从摘要序列中提取意图,在移动端和网页轨迹上均优于 CoT 与端到端微调。该方法用 Gemini 1.5 Flash 8B 即可达到 Gemini 1.5 Pro 相当的效果,成本与速度更优,适用于端侧部署。

1月16日周五
  1. Google DeepMind62

    Google DeepMind 发布 D4RT 模型,统一 4D 场景重建与追踪

    Google DeepMind 发布 D4RT(Dynamic 4D Reconstruction and Tracking),一个统一 4D 场景重建与追踪的 AI 模型,采用编码器-解码器 Transformer 架构和查询机制,可同时完成点追踪、点云重建和相机位姿估计。

    推荐理由:D4RT 把 4D 重建统一进单一查询式框架,效率提升幅度和实时应用场景是主要看点。

1月14日周三
  1. Google Research62

    Google 发布 MedGemma 1.5 4B 与医疗语音识别模型 MedASR

    Google 发布 MedGemma 1.5 4B,新增对 CT、MRI 和全切片病理等高维医学影像的支持,并保留 2D 图像与文本能力。官方称其在 CT 病变分类上绝对准确率较 MedGemma 1 提升 3%(61% vs. 58%),MRI 提升 14%(65% vs. 51%),MedQA 提升 5%(69% vs. 64%)。

    推荐理由:官方给出 MedGemma 1.5 与 MedASR 的基准对比和开源入口,可据此判断医疗多模态模型的可用边界。

  2. Google DeepMind71

    Google DeepMind 更新 Veo 3.1 Ingredients to Video,新增竖屏输出与 1080p/4K 放大

    Google DeepMind 更新 Veo 3.1 Ingredients to Video,让基于参考图生成的视频在简单提示词下更富表现力,并提升角色身份、背景与物体的一致性。

    推荐理由:原文列出 Veo 3.1 Ingredients to Video 在角色一致性、竖屏输出和 1080p/4K 上的具体变化,可据此判断视频生成工作流能怎么调整。

1月6日周二
1月5日周一
12月24日周三
12月19日周五
12月17日周三
  1. Google DeepMind87

    Google DeepMind 发布 Gemini 3 Flash

    Google DeepMind 发布 Gemini 3 Flash,主打前沿智能与速度兼顾,在 GPQA Diamond 得 90.4%、Humanity's Last Exam 无工具得 33.7%、MMMU Pro 得 81.2%、SWE-bench Verified 得 78%。

    推荐理由:官方给出 Gemini 3 Flash 的基准分数、定价与上线渠道,可据此判断速度与成本之间的取舍。

12月12日周五
12月9日周二
12月4日周四
12月3日周三
11月20日周四
  1. Google DeepMind78

    Google DeepMind 发布 Nano Banana Pro(Gemini 3 Pro Image)图像模型

    Google DeepMind 发布 Nano Banana Pro(Gemini 3 Pro Image),一个基于 Gemini 3 Pro 的高保真图像生成与编辑模型,已在 Google AI Studio 和 Vertex AI 以付费预览形式通过 Gemini API 逐步开放。

    推荐理由:官方给出 Gemini 3 Pro Image 的分辨率、文本渲染与搜索接地等能力细节,可据此判断图像生成与编辑的可用边界。

11月13日周四
11月11日周二
  1. Google DeepMind38

    Google DeepMind 研究:让 AI 像人类一样“看”世界

    Google DeepMind 在 Nature 发表新研究,提出三步对齐方法,用 THINGS 数据集训练 SigLIP-SO400M 上的适配器生成百万级图像的 AligNet 数据集,再微调其他视觉模型,使其内部表征按人类概念层级重新组织。该方法改善了模型在“odd-one-out”任务上与人类判断的一致性,并提升了鲁棒性与泛化能力。

11月6日周四
11月5日周三
  1. Google Research38

    Google 发布 ForestCast:用深度学习预测森林砍伐风险

    Google 发布 ForestCast,基于纯卫星数据与 vision transformers 预测森林砍伐风险,并公开首个面向该任务的基准数据集。模型仅用 Landsat 和 Sentinel 2 卫星数据及"变化历史"输入,精度可匹配或超过依赖道路、人口密度等专用地图的传统方法,且可在全球任意区域一致应用。团队同时公开全部输入、训练与评估数据,供社区复现并改进模型。

10月31日周五
10月30日周四
10月23日周四
  1. Google Research62

    Google Earth AI 发布新影像与人口基础模型及地理空间推理智能体

    Google 发布 Earth AI 新进展,包括新的影像与人口基础模型,以及由 Gemini 驱动的地理空间推理智能体,并给出技术细节与评测。影像模型支持自然语言查询和开放词汇目标检测,在文本图像搜索任务上平均提升超过 16%,零样本新目标检测准确率翻倍以上。

    推荐理由:Google 公布 Earth AI 新基础模型与地理空间推理智能体的评测数据,可了解多模型协同在灾害预测中的实际增益。

10月21日周二
  1. Hugging Face Blog62

    Hugging Face AI Sheets 新增视觉支持,可在表格中处理图像

    Hugging Face 为开源工具 AI Sheets 发布重大更新,新增视觉支持,可在表格中查看、分析图像并提取信息,也能从文本生成图像和编辑图像,全部由 Inference Providers 上的开放模型驱动。

    推荐理由:官方给出视觉能力在表格工作流中的具体用法与模型对比,可据此判断图像数据整理是否值得迁移。

10月15日周三
9月30日周二
  1. OpenAI News76

    OpenAI 发布 Sora 2 视频与音频生成模型系统卡

    OpenAI 发布新一代视频与音频生成模型 Sora 2,并公开其系统卡。相比 Sora,新模型在物理准确性、画面真实感、音画同步、可控性和风格覆盖范围上有所提升,官方称这些能力此前的视频模型较难实现。

    推荐理由:官方系统卡披露 Sora 2 在物理准确性、音画同步与可控性上的能力变化,可据此判断视频生成模型的当前边界。

9月23日周二
9月22日周一
9月9日周二
  1. Hugging Face Blog50

    Hugging Face 发布 mmBERT:基于 ModernBERT 的多语言编码器,覆盖 1800+ 语言

    Hugging Face 发布 mmBERT,一个基于 ModernBERT 架构的多语言编码器模型,在超 3T token、1800 多种语言上训练,是首个在性能上超越 XLM-R 的多语言模型。base 版含 110M 非嵌入参数(总计 307M),采用三阶段训练与逆掩码率调度(30%→15%→5%),在 GLUE 和 XTREME 基准上显著领先 XLM-R 与 mGTE。

8月12日周二
8月7日周四
  1. Hugging Face Blog62

    TRL 为视觉语言模型加入 MPO、GRPO、GSPO 对齐支持

    Hugging Face 的 TRL 新增面向视觉语言模型的对齐方法支持,包括 Mixed Preference Optimization(MPO)、Group Relative Policy Optimization(GRPO)和 Group Sequence Policy Optimization(GSPO),并扩展 RLOO 与 Online DPO 到多模态场景。

    推荐理由:TRL 把 MPO、GRPO、GSPO 等对齐方法扩展到视觉语言模型,并给出可直接运行的训练脚本与 notebook。

  2. OpenAI News85

    OpenAI 发布 GPT-5

    OpenAI 发布 GPT-5,称其为目前最强的 AI 系统,在智能水平上较此前所有模型有显著跃升。GPT-5 在编码、数学、写作、健康、视觉感知等方面达到 SOTA 表现。

    推荐理由:OpenAI 官方公布 GPT-5 的定位与能力覆盖范围,读者可据此了解其相对前代模型的升级方向。

8月1日周五
7月23日周三
7月17日周四
  1. Mistral AI62

    Mistral 为 Le Chat 推出 Deep Research、语音模式等多项新功能

    Mistral 为 Le Chat 上线一批新功能,包括预览版 Deep Research 模式、由新语音模型 Voxtral 驱动的语音模式、由推理模型 Magistral 支持的多语言推理、用于整理对话的 Projects,以及与 Black Forest Labs 合作的高级图像编辑。

    推荐理由:Mistral 一次性为 Le Chat 补齐深度研究、语音、推理与图像编辑,读者可据此判断其产品线走向。

7月8日周二