Tavus 发布 Griffin 人机交互模型,48% 测试者误认其为真人
Tavus 推出 Griffin,公司称其为首个“Human Interaction Model”(HIM),可在接收和生成视频的同时处理语音、面部表情、语调、手势和停顿,进行实时面对面交流。
Tavus 推出 Griffin,公司称其为首个“Human Interaction Model”(HIM),可在接收和生成视频的同时处理语音、面部表情、语调、手势和停顿,进行实时面对面交流。
语音 AI 初创公司 ElevenLabs 宣布允许员工按 220 亿美元估值套现部分已归属股权,较其 2 月融资时的 110 亿美元估值翻倍。此次 3 亿美元的 tender offer 由 Wellington 和 T. Rowe Price 联合领投,是该公司第二次为员工安排二级交易,上一次是 2025 年 9 月按 66 亿美元估值进行的 1 亿美元 tender。
Hugging Face 推出 Open TTS Leaderboard,用客观指标评测开源多语言 TTS 与声音克隆模型,单模型评测耗时从数周投票缩短到数小时。
AWS 发布教程,演示如何用 vLLM-Omni DLC 在 Amazon SageMaker AI 上部署 Qwen3-TTS,通过 SageMaker 双向流式连接实现文本流入、24 kHz PCM 音频分块流出,并配 Gradio 应用试用。
Google DeepMind 发布 Gemini 3.8 Live with Live Avatar,在 Gemini 3.8 Live 的基础上为原生实时对话模型加入近实时视觉形象,可同时处理视觉与音频输入并输出带表情和唇形同步的音视频。
推荐理由:官方披露了实时视频与语音耦合的对话能力、异步工具调用和 97 种语言支持,可据此判断企业级虚拟形象的应用边界。
Meta 在 Connect 2026 上把个人智能体 Muse 作为硬件加智能体战略的核心,发布眼镜等设备并预告但未发布新前沿模型。Muse 新增语音与实时视频能力,将登陆所有 Meta 眼镜,并拥有独立邮箱地址;Muse for Mac 支持 computer use,连接器平台覆盖 1500+ 应用。
Google 发布 gemini-3.8-flash-tts 和 gemini-3.8-flash-lite-tts 两款文本转语音模型,提供超过 2000 种音色,并支持用 30 秒音频样本创建自定义音色。
Google DeepMind 推出 Gemini 3.8 Flash TTS 和 Gemini 3.8 Flash-Lite TTS 两款文本转语音模型,前者面向角色设计与深度创作控制,后者面向高并发、低成本的配音与语音智能体场景。
推荐理由:两款 TTS 模型给出语音克隆、逐行表演控制与多语言覆盖的具体能力,可据此判断语音生成工作流的变化。
Ringg 基于 OpenAI GPT-5.6 打造的 AI 智能体可解决高达 65% 的客户来电,并支持语音、聊天、WhatsApp 和网页等多渠道多语言服务。相比 GPT-4.1,其成本降低 90%。
Google DeepMind 发布 Gemini 3.8 Live 和 Gemini 3.8 Live Extended Thinking 两款实时对话模型,前者面向规模与成本效率,后者面向高复杂度任务与多步推理。
推荐理由:两款语音对话模型同时发布,给出语音智能体基准成绩与开发者接入路径,可据此判断实时语音 Agent 的当前水位。
Hugging Face 与 Voice Arena 合作,在 Open ASR Leaderboard 上新增 Monsoon en-IN 和 Monsoon hi-IN 两个评测集,印地语成为该多语言榜单上首个 Indic 语言。
Google DeepMind 发布 Gemini 3.5 Transcribe,称其为目前最精确的语音转文本模型,可将原始音频直接转为准确、格式化文本。
推荐理由:官方给出 WER、延迟与多语言等可核验指标,并说明开发者与消费端入口,便于判断语音转写能力边界。
Hugging Face 发布研究,提出共识分歧探针、掩蔽实体检索和拼写切换三类测试来量化语音识别中的基准优化现象。研究评测 11 个开源 ASR 模型,发现部分高分模型会复现 VoxPopuli 和 LibriSpeech 参考转写中的错误,即使音频与之矛盾、相关词被静音或两种写法在音频中同样成立。
推荐理由:通过三类探针量化语音模型对基准的过拟合,并给出可复用的检测脚本与榜单入口。
Google Research 发布 AMIE (Video),一个基于 Gemini 和 Project Astra 的实时视频临床问诊系统,可感知非语言线索、引导虚拟体格检查并实时进行诊断推理。
推荐理由:Google 公布 AMIE 视频版在 300 场随机 OSCE 中与初级保健医生评分相当,并给出异步多智能体架构与局限说明。
NVIDIA 发布 Magpie TTS Multilingual,一个 364M 参数的开源权重语音合成模型,支持 12 种语言,新增现代标准阿拉伯语、韩语和巴西葡萄牙语,并通过更新训练数据提升了多种既有语言的质量。
推荐理由:原文给出 364M 开源权重模型的多语言扩展与 TTFA 实测数据,读者可据此判断自建语音链路的延迟与部署成本。
OpenAI 披露其 GPT-Live 实时语音系统的构建过程,该系统采用无轮次(turnless)语音模型与低延迟架构,实现与 AI 的连续语音交互,让对话更快、更自然。
avatarin 基于 OpenAI 的 GPT-Realtime 为山田电机(Yamada Denki)顾客提供 24/7 多语言支持。上线两周内,该智能体被 30,000 人使用,92% 的问卷反馈为正面评价。
Google DeepMind 发布新一代音乐生成模型 Lyria 3.5,并已在 Google Flow Music 中上线。官方称其在音乐性、歌词和人声质量上均有提升:可生成更丰富复杂的旋律结构,歌词的提示词遵循度和结构感知更好,人声更具表现力与情感细节、发音也更准确。用户还能更便捷地控制输出的节奏和时长。
推荐理由:官方给出 Lyria 3.5 在旋律、歌词、人声与创作控制上的具体改进方向,可据此判断音乐生成能力的变化。
OpenAI 推出 OpenAI Presence,一个经过验证的企业 AI 智能体平台,帮助组织为客户及内部工作流部署可信的语音和聊天智能体。
Cars24 借助 OpenAI 的语音与聊天智能体,每月处理超 100 万分钟对话,并挽回 12% 的流失线索。该公司还将智能体工作流推广到全公司各团队。
Hume 发布 Real World VoiceEQ 语音 AI 评测基准,覆盖 40 多个专有与开源语音模型、15+ 评测维度和 60+ 指标,涵盖 ASR、TTS、S2S 和语音理解。
推荐理由:Hume 用超百万条人类评分构建语音评测基准,揭示现有基准高估真实表现的问题。
OpenAI 发布新一代语音模型 GPT-Live,用于更自然的人机交互,目前已接入 ChatGPT Voice。
推荐理由:OpenAI 发布新一代语音模型并接入 ChatGPT Voice,读者可据此了解语音交互能力的代际更新。
Google DeepMind 发布 Gemini 3.5 Live Translate,一款支持 70 多种语言的近实时语音到语音翻译音频模型,能自动检测语言并保留说话人的语调、节奏和音高。
推荐理由:官方披露了连续生成式语音翻译的取舍思路,以及它在 Google 各产品线的开放节奏。
Parloa 基于 OpenAI 模型构建可扩展的语音驱动 AI 客服智能体,让企业能够设计、模拟并部署可靠的实时交互。
OpenAI 在 API 中推出新的实时语音模型,可进行推理、翻译和语音转写,用于构建更自然、更智能的语音体验。
推荐理由:OpenAI 在 API 中上线新的实时语音模型,读者可了解其推理、翻译与转写能力带来的语音交互变化。
Hugging Face 与 Appen Inc.、DataoceanAI 合作,为 Open ASR Leaderboard 引入覆盖多口音、脚本化与对话语音的高质量英文 ASR 私有数据集,以防止 benchmaxxing 和测试集污染。默认 Average WER 仍仅基于公开数据集计算,用户可通过开关选择是否纳入私有数据集。该榜单自 2023 年 9 月上线以来访问量已超 710K 次。
Uber 正用 OpenAI 驱动其 AI 助手与语音功能,帮助司机更聪明地赚钱、乘客更快叫车,服务覆盖全球实时交易市场。
Google DeepMind 宣布 AI co-clinician 研究计划,探索 AI 智能体在医生临床监督下协助患者诊疗。
推荐理由:Google DeepMind 公布 AI co-clinician 研究计划,给出医生盲评与远程问诊模拟中的具体对比结果。
NVIDIA 发布 Nemotron 3 Nano Omni,一款覆盖文本、图像、视频与音频的全模态理解模型,基于 Nemotron 3 Nano 30B-A3B 骨干,搭配 C-RADIOv4-H 视觉编码器和 Parakeet-TDT-0.6B-v2 音频编码器。
推荐理由:原文给出架构、训练配方与多模态基准对比,读者可据此判断开源全模态模型在文档、音视频与 GUI 智能体上的能力边界。
ServiceNow 在 Hugging Face 发布 EVA,一个面向对话式语音智能体的端到端评测框架,同时给出 EVA-A(准确率)和 EVA-X(体验)两个分数,并开源代码与数据集。
Mistral AI 发布首款文本转语音模型 Voxtral TTS,参数规模 4B,支持英语、法语、德语、西班牙语、荷兰语、葡萄牙语、意大利语、印地语和阿拉伯语共 9 种语言,可生成带情感表达的语音。
推荐理由:官方给出 4B 参数、9 种语言与 70ms 延迟等具体指标,并公开与 ElevenLabs 的人工对比结果。
Descript 借助 OpenAI 推理模型实现大型内容库的自动本地化,在不丢失时间轴与语义的前提下完成多语言视频配音。该方案面向大规模视频内容库,支持自动化的多语言配音流程。
Mistral 发布 Voxtral Transcribe 2,包含面向批量转写的 Voxtral Mini Transcribe V2 和面向实时场景的 Voxtral Realtime 两款语音转文字模型。
推荐理由:官方给出两款语音转写模型的延迟、错误率与价格对比,便于判断实时语音场景的落地成本。
Google 发布 MedGemma 1.5 4B,新增对 CT、MRI 和全切片病理等高维医学影像的支持,并保留 2D 图像与文本能力。官方称其在 CT 病变分类上绝对准确率较 MedGemma 1 提升 3%(61% vs. 58%),MRI 提升 14%(65% vs. 51%),MedQA 提升 5%(69% vs. 64%)。
推荐理由:官方给出 MedGemma 1.5 与 MedASR 的基准对比和开源入口,可据此判断医疗多模态模型的可用边界。
Tolan 基于 GPT-5.1 打造了一款语音优先的 AI 伴侣,结合低延迟响应、实时上下文重建与记忆驱动的人格设定,实现自然对话体验。
Google DeepMind 发布更新版 Gemini 2.5 Flash Native Audio,面向实时语音智能体,提升了复杂工作流处理、指令遵循和多轮对话能力。
推荐理由:官方给出 Gemini 2.5 Flash Native Audio 在函数调用、指令遵循和多轮对话上的具体提升数据,便于判断语音智能体的可用性变化。
Google Research 在 NeurIPS 2025 发布大规模声音嵌入基准 MSEB,用统一框架评测检索、推理、分类、转录、分割、聚类、重排与重建八项听觉能力。
Google Research 介绍一种端到端语音到语音翻译(S2ST)模型,可在保留原说话人音色的同时实现实时翻译,延迟仅 2 秒,而现有系统通常有 4–5 秒延迟且会累积误差。
推荐理由:Google 端到端语音翻译把延迟压到 2 秒并保留原说话人音色,读者可了解其数据管线与流式架构。
Hugging Face 发布博客提出“语音同意门”(voice consent gate),让模型只有在说话人明确说出同意语句并被 ASR 识别后才启动语音克隆。该方案由三部分组成:生成约 20 词、含同意短语与模型名的独特句子,ASR 识别该句,以及 TTS 语音克隆系统;同一句录音也可直接用作克隆素材。配套示例 Space 与代码已公开,用于探索把同意原则嵌入 AI 系统流程。
SchoolAI 基于 GPT-4.1、图像生成和 TTS 构建安全、教师引导的 AI 工具,已服务超过 100 万间课堂,提升参与度、监督能力与个性化学习。