Google DeepMind 与 A24 宣布首个此类研究合作
Google DeepMind 与 A24 宣布达成首个此类研究合作，将顶尖研究实验室与电影制作公司配对，帮助艺术家开发新工作流与技术。双方将围绕多个项目展开长期深度研发协作，Google 同时已对 A24 进行投资。
#多模态
#多模态
今日 1 条Google DeepMindAI 评分3838
Hugging Face Blog精选AI 评分6262 Hugging Face 与 Cerebras 将 Gemma 4 引入实时语音 AI
Hugging Face 与 Cerebras 联合演示了一套实时语音到语音流水线，用 Cerebras 加速 Gemma 4 31B 的推理，以降低语音交互延迟。
推荐理由：原文给出了可复用的开源语音到语音流水线架构与各层组件，读者可据此搭建或替换自己的实时语音方案。
Google DeepMind精选AI 评分8080 Google DeepMind 发布 Nano Banana 2 Lite 与 Gemini Omni Flash
Google DeepMind 发布 Nano Banana 2 Lite（gemini-3.1-flash-lite-image）和 Gemini Omni Flash（gemini-omni-flash-preview）两款模型。
推荐理由：两款新模型给出了延迟、单价和可用入口，读者可据此判断图像与视频生成链路的成本与选型。
Mistral AI精选AI 评分6666 Mistral 发布 OCR 4，支持边界框、块分类与置信度输出
Mistral 发布 OCR 4，在提取文本之外新增边界框、块类型分类和逐页逐词置信度，支持 170 种语言，可单容器自托管部署。官方称独立标注者在 600+ 份文档的盲评中平均 72% 更偏好 OCR 4，并在 OlmOCRBench 上取得 85.20 的最高分。
推荐理由：官方给出 OCR 4 的边界框、块分类与置信度输出，以及自托管和定价细节，便于判断其在 RAG 与智能体流程中的接入方式。
Hugging Face Blog精选AI 评分6262 PP-OCRv6 上线 Hugging Face：1.5M 到 34.5M 参数，支持 50 语言 OCR
PaddleOCR 发布新一代通用 OCR 模型家族 PP-OCRv6，已在 Hugging Face 上线，提供 tiny、small、medium 三档，参数量从 1.5M 到 34.5M，其中 small 和 medium 支持 50 种语言。
推荐理由：原文给出三档模型参数、50 语言覆盖与检测识别提升幅度，便于读者按部署场景选型。
Google ResearchAI 评分2828 Google Earth AI 发布英国高分辨率矢量数据集，用于自然恢复规划
Google Research 发布了一套矢量化的英国乡村生态特征数据集，将此前 Farmscapes 2020 的栅格地图转化为可操作的树篱、石墙和矮林清单。
Import AIAI 评分3232 Import AI 461：Sequent 称"对齐尚未走上正轨"、FrontierCode 与合成研究实习生
英国 AI Security Institute 对齐团队与 Timaeus 联合成立非营利研究机构 Sequent，目标两三年内扩至 40-80 名全职员工，初期拟募资 1 亿至 1.5 亿美元，研究方向包括可扩展监督、学习理论、启发式论证、博弈论与 personas。
Google ResearchAI 评分3434 Google 研究 AI 如何帮助用户理解皮肤问题
Google 公布多项关于消费者使用 AI 工具理解皮肤问题的研究，其中发表于 JAMA Dermatology 的大规模调查显示，2345 名参与者借助 AI 工具尝试命名皮肤状况的比例超过 62%，命名准确率 23%，约为无辅助对照组 8% 的近三倍。研究同时发现，AI 辅助对判断下一步就医措施帮助有限，标准 AI 组的下一步准确率未出现统计显著提升。
Google DeepMind精选AI 评分8282 Google DeepMind 发布 Gemini 3.5 Live Translate 语音翻译模型
Google DeepMind 发布 Gemini 3.5 Live Translate，一款支持 70 多种语言的近实时语音到语音翻译音频模型，能自动检测语言并保留说话人的语调、节奏和音高。
推荐理由：官方披露了连续生成式语音翻译的取舍思路，以及它在 Google 各产品线的开放节奏。
Google DeepMind精选AI 评分8080 Google DeepMind 发布 Gemma 4 12B：统一无编码器多模态模型
Google DeepMind 发布 Gemma 4 12B，一款面向笔记本的智能体多模态模型，采用无编码器统一架构，视觉和音频输入直接进入 LLM 主干。该模型在标准基准上性能接近 26B MoE 模型，内存占用不到其一半，可在 16GB VRAM 或统一内存的消费级笔记本上本地运行，并首次在中等规模模型中支持原生音频输入。
推荐理由：Gemma 4 12B 用无编码器架构把多模态能力压到 16GB 显存，读者可据此判断本地智能体的硬件门槛。
Hugging Face Blog精选AI 评分6262 智能体如何串联两个 Hugging Face Space 搭建 3D 巴黎画廊
作者让一个编码智能体通过调用两个 Hugging Face Space 搭建了展示巴黎地标的 3D Gaussian splat 网站，全程未手动打开图像生成或 3D 重建工具。
推荐理由：作者用一次真实搭建演示了 agents.md 如何让智能体串联两个 Space 完成图像到 3D 的流水线，可迁移到其他多媒体组合。
Google Research精选AI 评分6666 Google 研究用手机前摄实现被动心率监测
Google 在 Nature 发表研究，提出 PHRM 系统，利用手机前摄在面部解锁后拍摄 8 秒视频，通过深度学习在后台估算心率和静息心率。在自由生活研究中，PHRM 心率估算整体 MAPE 为 6.09%，静息心率相对 Fitbit Charge 6 的 MAE 为 4.39 bpm，并在所有肤色组别达到 MAPE 低于 10%。
推荐理由：Google 用手机前摄在解锁后被动测心率，并公开最大规模手机视频数据集与预训练模型，可看 rPPG 在真实场景的落地边界。
Hugging Face BlogAI 评分5858 NVIDIA 发布 Nemotron 3.5 Content Safety 多模态安全模型
NVIDIA 发布 Nemotron 3.5 Content Safety，基于 Gemma 3 4B IT 微调，把多模态输入、多语言覆盖、自定义企业策略执行和可审计推理整合进一次推理调用。
Google DeepMind精选AI 评分6262 Google DeepMind 为 Project Genie 加入 Street View 真实场景生成能力
Google DeepMind 在实验性原型 Project Genie 中上线 Street View 接地能力，可基于美国真实地点影像生成可交互世界，并支持沙漠、海洋世界、黑白电影等风格。
推荐理由：原文给出 Genie 接入 Street View 真实影像后的世界生成方式与开放范围，读者可据此判断世界模型落地路径。
Google DeepMind精选AI 评分8787 Google DeepMind 发布 Gemini Omni，首款模型 Gemini Omni Flash 支持对话式视频生成与编辑
Google DeepMind 发布 Gemini Omni 模型家族，首款模型 Gemini Omni Flash 可组合图像、音频、视频和文本输入生成高质量视频，并支持通过自然语言多轮编辑视频。
推荐理由：Gemini Omni 把多模态输入与对话式视频编辑结合，读者可了解其能力边界与首发渠道。
Google DeepMind精选AI 评分6262 Google 将 SynthID 与 C2PA 内容验证扩展到 Search、Gemini、Chrome 和 Pixel
Google 宣布扩展内容透明度与验证工具，把 SynthID 的图像、视频和音频验证从 Gemini 应用扩展到 Search，并将在未来几周进入 Chrome；该验证功能已在全球被使用 5000 万次。
推荐理由：Google 把 SynthID 与 C2PA 验证铺到 Search、Gemini、Chrome 和 Pixel，读者可了解内容溯源工具的实际覆盖范围。
Google DeepMindAI 评分2828 Google DeepMind 与新加坡达成国家 AI 合作，落地医疗、教育与气候项目
Google DeepMind 与新加坡政府达成国家 AI 合作，在医疗、教育、科研和气候领域推出新项目。合作探索 AI 辅助临床的"三方诊疗"模式，并用 AlphaFold、Google Earth 等工具推进东南亚传染病研究与疫情防控。
Google DeepMind精选AI 评分8585 Google DeepMind 发布 Gemini 3.5 Flash
Google DeepMind 发布 Gemini 3.5 模型系列，首发 3.5 Flash，主打智能体与编码能力，在 Terminal-Bench 2.1 取得 76.2%、GDPval-AA 1656 Elo、MCP Atlas 83.6%，CharXiv Reasoning 多模态理解 84.2%，输出速度是其他前沿模型的 4 倍。
推荐理由：官方给出 3.5 Flash 在编码与智能体基准上的具体分数和开放入口，可据此判断其速度与成本取舍。
Google DeepMind精选AI 评分6666 Google DeepMind 发布 AI co-clinician 医疗研究计划
Google DeepMind 宣布 AI co-clinician 研究计划，探索 AI 智能体在医生临床监督下协助患者诊疗。
推荐理由：Google DeepMind 公布 AI co-clinician 研究计划，给出医生盲评与远程问诊模拟中的具体对比结果。
Hugging Face Blog精选AI 评分7474 NVIDIA 发布 Nemotron 3 Nano Omni：面向文档、音频与视频智能体的长上下文全模态模型
NVIDIA 发布 Nemotron 3 Nano Omni，一款覆盖文本、图像、视频与音频的全模态理解模型，基于 Nemotron 3 Nano 30B-A3B 骨干，搭配 C-RADIOv4-H 视觉编码器和 Parakeet-TDT-0.6B-v2 音频编码器。
推荐理由：原文给出架构、训练配方与多模态基准对比，读者可据此判断开源全模态模型在文档、音视频与 GUI 智能体上的能力边界。
Hugging Face BlogAI 评分3434 用 Sentence Transformers 训练和微调多模态嵌入与重排序模型
Sentence Transformers 现已支持训练和微调多模态嵌入与重排序模型，作者以微调 Qwen/Qwen3-VL-Embedding-2B 做视觉文档检索（VDR）为例演示流程。
Google DeepMind精选AI 评分7171 Google DeepMind 发布 Gemini 3.1 Flash TTS 语音模型
Google DeepMind 发布 Gemini 3.1 Flash TTS，称其在可控性、表现力和语音质量上均有提升，在 Artificial Analysis TTS 榜单上取得 1,211 Elo 分数。
推荐理由：官方给出 Elo 1211 与音频标签等具体能力，读者可据此判断语音生成的可控性进展。
Google DeepMind精选AI 评分6666 Google DeepMind 发布 Gemini Robotics-ER 1.6，增强具身推理与仪表读数
Google DeepMind 发布 Gemini Robotics-ER 1.6，这是其推理优先机器人模型的升级版，强化了空间推理与多视角理解，并新增仪表读数能力，可读取压力表、液位计和数字读数。
推荐理由：官方给出与上一代及 Gemini 3.0 Flash 的对比，并说明仪表读数等新能力如何落地机器人巡检。
Hugging Face Blog精选AI 评分6060 Sentence Transformers v5.4 支持多模态嵌入与重排模型
Sentence Transformers 发布 v5.4，可在同一套 API 下编码和比较文本、图像、音频与视频，并支持多模态重排模型。新增能力覆盖跨模态相似度、encode_query/encode_document 检索流程以及先检索再重排的 RAG 模式，官方同时列出了 Qwen3-VL、NVIDIA、BGE-VL 等已支持模型。
推荐理由：官方给出 v5.4 多模态嵌入与重排的完整用法和模型清单，可据此评估跨模态检索的落地成本。
Google DeepMind精选AI 评分8484 Google DeepMind 发布 Gemma 4 开源模型家族
Google DeepMind 发布 Gemma 4 开源模型家族，包含 E2B、E4B、26B MoE 和 31B Dense 四个尺寸，采用 Apache 2.0 许可。
推荐理由：Gemma 4 以四个尺寸覆盖端侧到工作站，并给出 Apache 2.0 许可与首日工具链支持，便于开发者判断本地部署与微调路径。
Hugging Face Blog精选AI 评分8888 Google DeepMind 发布 Gemma 4 多模态模型家族
Google DeepMind 的 Gemma 4 多模态模型家族已在 Hugging Face 上线，采用 Apache 2 许可，支持图像、文本和音频输入并生成文本。
推荐理由：Gemma 4 以 Apache 2 许可开放五个尺寸并覆盖音频与端侧部署，读者可据此判断开源多模态模型的可用边界。
Hugging Face Blog精选AI 评分6060 TII 发布 Falcon Perception 与 Falcon OCR 模型
TII 的 Falcon Vision 团队发布 Falcon Perception，一个 0.6B 参数的早期融合 Transformer，用自然语言提示做开放词表定位与分割，在 SA-Co 上达到 68.0 Macro-F1，高于 SAM 3 的 62.3，但在存在性校准上落后（MCC 0.64 对 0.82）。
推荐理由：原文给出 0.6B 早期融合模型在 SA-Co 与 PBench 上的分项对比，可据此判断单骨干感知路线相对模块化管线的取舍。
Hugging Face Blog精选AI 评分6262 IBM 发布 Granite 4.0 3B Vision 企业文档多模态模型
IBM 发布 Granite 4.0 3B Vision，一款面向企业文档理解的紧凑视觉语言模型，以 LoRA 适配器形式叠加在 Granite 4.0 Micro 之上，采用 Apache 2.0 许可并在 Hugging Face 上线。
推荐理由：Granite 4.0 3B Vision 以 3B 规模在图表与表格抽取基准上超过更大模型，并给出 LoRA 适配器与 Docling 集成路径。
Google DeepMindAI 评分5252 Google DeepMind 为 AI 时代重新设计鼠标指针
Google DeepMind 公布 AI 指针的四条交互原则，并展示由 Gemini 驱动的实验性指针演示，用户可通过指向和语音在 Google AI Studio 中编辑图片或查找地点。该指针已开始集成到 Chrome，用户可用指针选中网页内容让 Gemini 处理，Googlebook 也将推出 Magic Pointer。研究团队称这些原则旨在把传达上下文和意图的工作从用户转移到计算机。
Google DeepMind精选AI 评分6262 Google DeepMind 发布 Lyria 3 Pro，支持生成 3 分钟长曲目
Google DeepMind 发布音乐生成模型 Lyria 3 Pro，可生成最长 3 分钟的曲目，并更好理解音乐结构，支持用提示词指定前奏、主歌、副歌和桥段等元素。
推荐理由：Lyria 3 Pro 把单次生成时长提升到 3 分钟并支持段落级提示，读者可据此判断音乐生成在哪些产品里已经可用。
Google ResearchAI 评分5858 Google 发布 Vibe Coding XR，用 Gemini 与 XR Blocks 把自然语言变成 Android XR 应用
Google 发布 Vibe Coding XR 工作流，将 Gemini 的长上下文推理与开源 WebXR 框架 XR Blocks 结合，把自然语言提示词直接转成具备物理感知的 Android XR 应用，官方称耗时在 60 秒以内。
Google ResearchAI 评分4848 Google Research 在 The Check Up 展示医疗 AI 进展：从研究创新到真实诊疗场景
Google Research 在 The Check Up 活动上展示了医疗 AI 的多项进展，包括与 Fitbit 合作研究的 Personal Health Agent（PHA），发现其比单一任务应用更能支持长期健康。
Hugging Face Blog精选AI 评分6262 H Company 发布 Holotron-12B 高吞吐 computer-use 智能体模型
H Company 发布 Holotron-12B，一个基于 NVIDIA Nemotron-Nano-2 VL 后训练的多模态 computer-use 模型，现已上线 Hugging Face，采用 NVIDIA Open Model License。
推荐理由：原文给出模型架构、吞吐对比与基准提升，读者可据此判断它在高并发 computer-use 场景的可用性。
Mistral AI精选AI 评分7878 Mistral 发布 Mistral Small 4，统一推理、多模态与编码能力
Mistral AI 发布 Mistral Small 4，这是 Mistral Small 系列的下一个重要版本，也是 Mistral 首个把 Magistral 的推理、Pixtral 的多模态和 Devstral 的智能体编码能力统一到单一模型中的模型，采用 Apache 2.0 许可开源。
推荐理由：Mistral 首次把推理、多模态与编码能力合并进单一小模型，并给出可调推理强度与部署门槛。
OpenAI NewsAI 评分2222 Descript 如何用 OpenAI 推理模型实现大规模多语言视频配音
Descript 借助 OpenAI 推理模型实现大型内容库的自动本地化，在不丢失时间轴与语义的前提下完成多语言视频配音。该方案面向大规模视频内容库，支持自动化的多语言配音流程。
Google DeepMind精选AI 评分6666 Google DeepMind 发布 Gemini 3.1 Flash-Lite
Google DeepMind 发布 Gemini 3.1 Flash-Lite，这是 Gemini 3 系列中速度最快、成本最低的模型，已在 Google AI Studio 和 Vertex AI 以预览形式向开发者开放。
推荐理由：官方给出定价、速度与基准数据，读者可据此判断高并发场景下是否值得替换 2.5 Flash。
Google DeepMind精选AI 评分8585 Google DeepMind 发布 Nano Banana 2（Gemini 3.1 Flash Image）图像模型
Google DeepMind 发布 Nano Banana 2（Gemini 3.1 Flash Image），把 Nano Banana Pro 的先进世界知识、质量与推理能力带到 Flash 级速度。
推荐理由：官方给出 Nano Banana 2 与 Pro 的能力分工和上线渠道，读者可据此判断该选哪个模型做图像任务。
Google DeepMind精选AI 评分7171 Gemini 应用上线 Lyria 3 音乐生成，支持文本与图片生成 30 秒曲目
Google DeepMind 的最新音乐生成模型 Lyria 3 以 beta 形式在 Gemini 应用中上线，用户用文本或上传图片、视频即可生成 30 秒带歌词或纯音乐的曲目，并附由 Nano Banana 生成的封面图。
推荐理由：官方披露 Lyria 3 在 Gemini 应用中的生成方式、语言覆盖与 SynthID 音频验证，可据此判断音乐生成的实际可用边界。
Google ResearchAI 评分4242 Google 用 MapTrace 教多模态大模型在地图上寻路
Google Research 提出 MapTrace，一套面向多模态大模型的地图路径追踪任务、数据集与合成数据生成流程，并开源了用 Gemini 2.5 Pro 和 Imagen-4 生成的 200 万条问答对。
Google ResearchAI 评分3535 Google 推出 DialogLab：开源框架用于编排、模拟与测试人机多方群组对话
Google 在 ACM UIST 2025 上发布开源原型框架 DialogLab，用于编排、模拟和测试动态的人机多方群组对话。该框架将对话的社交设定与时间推进解耦，通过"编排-测试-验证"三阶段工作流支持拖拽式场景搭建、human control 实时干预和对话动态可视化分析。