Tolan 如何用 GPT-5.1 打造语音优先 AI
Tolan 基于 GPT-5.1 打造了一款语音优先的 AI 伴侣，结合低延迟响应、实时上下文重建与记忆驱动的人格设定，实现自然对话体验。
#语音
#语音
今日 1 条OpenAI NewsAI 评分2222
Google DeepMind精选AI 评分7474 Google DeepMind 更新 Gemini 2.5 Flash Native Audio，并推出实时语音翻译
Google DeepMind 发布更新版 Gemini 2.5 Flash Native Audio，面向实时语音智能体，提升了复杂工作流处理、指令遵循和多轮对话能力。
推荐理由：官方给出 Gemini 2.5 Flash Native Audio 在函数调用、指令遵循和多轮对话上的具体提升数据，便于判断语音智能体的可用性变化。
Google ResearchAI 评分3131 Google 发布 MSEB：面向听觉智能的大规模声音嵌入基准
Google Research 在 NeurIPS 2025 发布大规模声音嵌入基准 MSEB，用统一框架评测检索、推理、分类、转录、分割、聚类、重排与重建八项听觉能力。
Google Research精选AI 评分7575 Google 发布端到端实时语音翻译模型，延迟降至 2 秒
Google Research 介绍一种端到端语音到语音翻译（S2ST）模型，可在保留原说话人音色的同时实现实时翻译，延迟仅 2 秒，而现有系统通常有 4–5 秒延迟且会累积误差。
推荐理由：Google 端到端语音翻译把延迟压到 2 秒并保留原说话人音色，读者可了解其数据管线与流式架构。
Hugging Face BlogAI 评分3838 Hugging Face 提出“语音同意门”：让声音克隆必须先获得本人明确同意
Hugging Face 发布博客提出“语音同意门”（voice consent gate），让模型只有在说话人明确说出同意语句并被 ASR 识别后才启动语音克隆。该方案由三部分组成：生成约 20 词、含同意短语与模型名的独特句子，ASR 识别该句，以及 TTS 语音克隆系统；同一句录音也可直接用作克隆素材。配套示例 Space 与代码已公开，用于探索把同意原则嵌入 AI 系统流程。
OpenAI NewsAI 评分2222 SchoolAI 用 GPT-4.1 打造赋能教师的 AI 平台
SchoolAI 基于 GPT-4.1、图像生成和 TTS 构建安全、教师引导的 AI 工具，已服务超过 100 万间课堂，提升参与度、监督能力与个性化学习。
OpenAI News精选AI 评分7575 OpenAI 发布 gpt-realtime 并更新 Realtime API
OpenAI 发布更先进的语音到语音模型 gpt-realtime，并同步更新 Realtime API。新 API 能力包括 MCP server 支持、图像输入以及 SIP 电话呼叫支持。
推荐理由：OpenAI 发布新一代语音到语音模型并扩展 Realtime API，读者可了解语音智能体接入工具与电话通道的能力边界。
Mistral AI精选AI 评分6262 Mistral 为 Le Chat 推出 Deep Research、语音模式等多项新功能
Mistral 为 Le Chat 上线一批新功能，包括预览版 Deep Research 模式、由新语音模型 Voxtral 驱动的语音模式、由推理模型 Magistral 支持的多语言推理、用于整理对话的 Projects，以及与 Black Forest Labs 合作的高级图像编辑。
推荐理由：Mistral 一次性为 Le Chat 补齐深度研究、语音、推理与图像编辑，读者可据此判断其产品线走向。
Mistral AI精选AI 评分8080 Mistral 发布 Voxtral 语音理解模型，24B 与 3B 双版本开源
Mistral 发布 Voxtral 语音理解模型，提供 24B 和 3B 两种尺寸，均以 Apache 2.0 许可开源并上线 API。模型支持 32k token 上下文，可处理最长 30 分钟音频转写或 40 分钟音频理解，具备内置问答与摘要、多语言自动检测以及从语音直接触发函数调用等能力。
推荐理由：Mistral 开源语音理解模型，给出两种尺寸、Apache 2.0 许可与 API 定价，读者可据此判断语音能力的部署与成本选择。
OpenAI NewsAI 评分2222 Retell AI 用 GPT-4o 实现可定制无代码语音智能体自动化
Retell AI 基于 GPT-4o 和 GPT-4.1 打造 AI 语音自动化，正改变呼叫中心运营方式。其无代码平台让企业无需脚本即可部署自然、实时的语音智能体，从而降低通话成本、提升 CSAT 并自动处理客户对话。
Hugging Face BlogAI 评分4040 Hugging Face 在 Inference Endpoints 上推出极速 Whisper 转录部署
Hugging Face 在 Inference Endpoints 上线新版 OpenAI Whisper 部署方案，基于 vLLM 实现，性能较上一版最高提升 8 倍。
OpenAI NewsAI 评分2222 Speak 如何用 AI 实现语言学习个性化
Speak 正在用 AI 为语言学习做个性化。OpenAI 与 Speak CEO 兼联合创始人 Connor Zwick 就此展开对话。
Hugging Face BlogAI 评分4545 Hugging Face 与 Cloudflare 合作，用 FastRTC 实现实时语音与视频无缝传输
Hugging Face 与 Cloudflare 达成合作，让 FastRTC 开发者凭 Hugging Face token 即可接入 Cloudflare 覆盖 335 多个地点的全球 TURN 网络。
OpenAI News精选AI 评分6262 OpenAI 在 API 中推出新一代音频模型
OpenAI 在 API 中推出新一代音频模型，开发者首次可以指示文本转语音模型以特定方式说话，例如像有同理心的客服人员那样说话，为语音智能体带来新的定制能力。
推荐理由：OpenAI 在 API 中开放语音风格指令，开发者可据此判断语音智能体的定制空间。
Hugging Face BlogAI 评分3838 Hugging Face 与 IISc 合作，推动印度多语言模型构建
Hugging Face 与印度科学研究所（IISc）及 ARTPARK 达成合作，旨在提升印度多模态多语言数据集 Vaani 的可访问性与易用性。Vaani 由 IISc/ARTPARK 与 Google 于 2022 年发起，目标采集超 150,000 小时语音和 15,000 小时转写文本，覆盖全印 773 个地区、100 万人。
Hugging Face Blog精选AI 评分7070 Hugging Face 发布 FastRTC：面向 Python 的实时通信库
Hugging Face 发布 FastRTC，一个面向 Python 的实时通信库，用于构建实时音频和视频 AI 应用。
推荐理由：FastRTC 把 WebRTC 实时音视频通信封装成 Python 库，读者可据此判断实时语音应用的搭建门槛变化。
Hugging Face BlogAI 评分3838 Artificial Analysis 发布 Big Bench Audio，评测音频推理能力
Artificial Analysis 发布 Big Bench Audio 评测数据集，用于评估音频语言模型的推理能力，题目改编自 Big Bench Hard，共 1000 道音频题，覆盖 Formal Fallacies、Navigate、Object Counting、Web of Lies 四类各 250 题。
Hugging Face BlogAI 评分4040 Hugging Face 如何在 Inference Endpoints 上部署 Speech-to-Speech
Hugging Face 的 Speech-to-Speech（S2S）项目通过 VAD、STT、LM、TTS 级联流水线实现语音对话，支持英语、法语、西班牙语、中文、日语和韩语，可用 auto 标志自动检测语言。
OpenAI News精选AI 评分7272 OpenAI 推出 Realtime API，支持语音到语音交互
OpenAI 发布 Realtime API，开发者可将其接入应用，构建快速的语音到语音交互体验。
推荐理由：OpenAI 开放 Realtime API，开发者可据此判断语音交互应用的接入方式与能力边界。
OpenAI NewsAI 评分3636 OpenAI 提出 Consistency Models，实现快速生成
OpenAI 提出 Consistency Models，可在不依赖迭代采样过程的情况下实现快速生成。扩散模型虽推动了图像、音频和视频生成的发展，但其迭代采样过程导致生成速度缓慢。
OpenAI NewsAI 评分2222 OpenAI 详解 Voice Engine 工作原理与安全研究
OpenAI 进一步说明其文本转语音模型 Voice Engine 的技术原理与安全研究。该模型可根据文本生成语音，OpenAI 同时公布了围绕这一技术开展的安全研究工作。
OpenAI NewsAI 评分2222 ChatGPT 的语音是如何选出的
OpenAI 与业内顶尖选角及导演专业人士合作，从 400 多份投稿中筛选，最终为 ChatGPT 选定 5 种语音。
OpenAI News精选AI 评分8787 OpenAI 发布新旗舰模型 GPT-4o
OpenAI 宣布推出新旗舰模型 GPT-4 Omni（GPT-4o），可在音频、视觉和文本之间进行实时推理。
推荐理由：OpenAI 官方发布新旗舰模型，读者可据此了解其在音频、视觉与文本上的实时推理定位。
Hugging Face BlogAI 评分4242 Hugging Face Inference Endpoints 实现 Whisper ASR + 说话人分离 + 推测解码
Hugging Face 通过自定义 inference handler，在 Inference Endpoints 上将 Whisper 的 ASR、基于 Pyannote 的说话人分离（diarization）与推测解码整合到单一 API 端点。
OpenAI News精选AI 评分8080 OpenAI 推出 ChatGPT 和 Whisper API
OpenAI 发布 ChatGPT 和 Whisper API，将 ChatGPT 与 Whisper 的模型能力以 API 形式开放给开发者调用。
OpenAI NewsAI 评分4040 OpenAI 分享 Voice Engine 自定义语音模型小规模预览的经验
OpenAI 分享了 Voice Engine 小规模预览的经验教训，该模型可用于创建自定义语音。
Hugging Face BlogAI 评分5252 Hugging Face 发布 TTS Arena，用盲测投票给语音合成模型排名
Hugging Face 发布 TTS Arena，借鉴 LMSys 的 Chatbot Arena，让用户输入文本后听两个模型朗读并投票选出更自然的一个，投票前不显示模型名以避免偏见。
Hugging Face BlogAI 评分3434 用 🤗 Transformers 微调 W2V2-BERT 实现低资源 ASR
Hugging Face 发布教程，演示如何用 🤗 Transformers 将 facebook/w2v-bert-2.0 微调至低资源 ASR 任务。
Hugging Face Blog精选AI 评分6262 用投机解码让 Whisper 推理提速 2 倍
Hugging Face 博客介绍如何用投机解码将 Whisper 推理速度提升约 2 倍，同时保证输出与单独使用主模型完全一致。
推荐理由：给出 Whisper 投机解码的完整实现与基准数据，读者可据此在现有管线中获得约 2 倍加速且输出不变。
OpenAI News精选AI 评分8282 ChatGPT 新增看、听、说能力
OpenAI 宣布 ChatGPT 新增看、听、说能力，可处理图像与语音输入并语音回复。
Hugging Face BlogAI 评分5252 如何让 AudioLDM 2 推理提速 10 倍以上
Hugging Face 博客介绍在 🧨 Diffusers 中使用 AudioLDM 2 的四种优化方法，将 10 秒音频的生成时间从约 14 秒降到不足 1 秒，且音频质量下降很小。
Hugging Face BlogAI 评分3434 如何用 🤗 Transformers 优化 Bark 文本转语音模型
Hugging Face 发布实战教程，演示如何用 Transformers、Optimum 和 Accelerate 三个库优化 Suno AI 的文本转语音模型 Bark。教程基于 suno/bark-small 检查点，通过三项简单优化降低显存占用并提升推理速度，并给出未优化基线的 benchmark 对比：5 次迭代平均执行时间 9.38 秒、最大显存占用 1.91 GB。
Hugging Face BlogAI 评分5050 如何为低资源 ASR 微调 MMS Adapter 模型
Hugging Face 发布教程，介绍如何为 Meta AI 的 MMS 模型微调 Adapter 层以适配低资源语言的 ASR 任务。MMS 预训练 checkpoint 覆盖 1400 多种语言、参数量 300M 到 1B，每个 Adapter 层仅约 2.5M 权重，微调 10-20 分钟即可获得极低词错率。对低资源语言，Adapter 训练比全模型微调更省内存、更鲁棒且性能更好。
Hugging Face BlogAI 评分2222 如何在 Unity 中用 Hugging Face Unity API 实现语音识别
Hugging Face 发布教程，讲解如何用 Hugging Face Unity API 在 Unity 游戏中实现语音识别，将语音转为文本，可用于下达指令、与 NPC 对话或提升无障碍体验。
OpenAI News精选AI 评分7878 OpenAI 推出 ChatGPT iOS 应用
OpenAI 发布 ChatGPT 的 iOS 应用，可同步用户的对话记录，并支持语音输入。该应用同时带来 OpenAI 最新的模型改进。
推荐理由：OpenAI 官方发布 ChatGPT iOS 应用，给出对话同步与语音输入两项核心能力。
Hugging Face Blog精选AI 评分6060 SpeechT5 上线 Hugging Face Transformers，支持语音合成、识别与音色转换
Hugging Face 宣布 SpeechT5 已集成进 Transformers，论文作者发布的官方 checkpoint 可在 Hugging Face Hub 获取，并提供语音合成、音色转换和自动语音识别三个 Spaces 演示。
推荐理由：SpeechT5 以同一套编码器解码器架构覆盖 TTS、语音转换与 ASR，读者可据此了解多任务语音模型在 Transformers 中的接入方式。
Hugging Face BlogAI 评分2222 Hugging Face 音频数据集完全指南：用 🤗 Datasets 一行代码加载与处理
Hugging Face 发布音频数据集使用指南，介绍如何用 🤗 Datasets 的 load_dataset 函数一行代码下载并准备音频数据。文中以 GigaSpeech 为例，其 xs 配置含 10 小时数据，加载后自动划分 train、validation、test 三个 split。Hub 上现有 77 个语音识别数据集和 28 个音频分类数据集，并支持在线试听样本预览。
Hugging Face Blog精选AI 评分6262 用 🤗 Transformers 微调 Whisper 实现多语种 ASR
Hugging Face 发布教程，介绍如何用 🤗 Transformers 在任意多语种 ASR 数据集上微调 Whisper。教程以 Common Voice 11.0 的印地语为例，用约 8 小时训练数据微调 Whisper small，在测试集上把 WER 从预训练模型的 63.5% 降到 32.0%。
推荐理由：以印地语为例给出 Whisper 多语种 ASR 微调全流程，8 小时数据即可把 WER 从 63.5% 降到 32.0%。
OpenAI News精选AI 评分8080 OpenAI 开源语音识别模型 Whisper
OpenAI 宣布训练并开源神经网络 Whisper，其在英文语音识别上接近人类水平的稳健性和准确度。
推荐理由：OpenAI 开源语音识别模型 Whisper，读者可了解其在英文语音识别上的稳健性与准确度定位。
Hugging Face Blog精选AI 评分6262 如何让 Wav2Vec2 在 Transformers 中处理长音频文件
Hugging Face 博客介绍如何利用 Wav2Vec2 所用 CTC 架构的特性，在 Transformers 中对任意长音频乃至实时流做语音识别。
推荐理由：原文给出 CTC 模型分块加 stride 的具体参数与代码，读者可据此在长音频和实时场景中复用。