AI 语音与音频的进展：语音合成、实时对话、音乐生成与音频理解的模型与产品。
Mistral 发布 Voxtral 语音理解模型，提供 24B 和 3B 两种尺寸，均以 Apache 2.0 许可开源并上线 API。模型支持 32k token 上下文，可处理最长 30 分钟音频转写或 40 分钟音频理解，具备内置问答与摘要、多语言自动检测以及从语音直接触发函数调用等能力。
推荐理由：Mistral 开源语音理解模型，给出两种尺寸、Apache 2.0 许可与 API 定价，读者可据此判断语音能力的部署与成本选择。
OpenAI 在 API 中推出新一代音频模型，开发者首次可以指示文本转语音模型以特定方式说话，例如像有同理心的客服人员那样说话，为语音智能体带来新的定制能力。
推荐理由：OpenAI 在 API 中开放语音风格指令，开发者可据此判断语音智能体的定制空间。
Hugging Face 发布 FastRTC，一个面向 Python 的实时通信库，用于构建实时音频和视频 AI 应用。
推荐理由：FastRTC 把 WebRTC 实时音视频通信封装成 Python 库，读者可据此判断实时语音应用的搭建门槛变化。
OpenAI 发布 Realtime API，开发者可将其接入应用，构建快速的语音到语音交互体验。
推荐理由：OpenAI 开放 Realtime API，开发者可据此判断语音交互应用的接入方式与能力边界。
OpenAI 宣布推出新旗舰模型 GPT-4 Omni（GPT-4o），可在音频、视觉和文本之间进行实时推理。
推荐理由：OpenAI 官方发布新旗舰模型，读者可据此了解其在音频、视觉与文本上的实时推理定位。
OpenAI 发布 ChatGPT 和 Whisper API，将 ChatGPT 与 Whisper 的模型能力以 API 形式开放给开发者调用。
Hugging Face 博客介绍如何用投机解码将 Whisper 推理速度提升约 2 倍，同时保证输出与单独使用主模型完全一致。
推荐理由：给出 Whisper 投机解码的完整实现与基准数据，读者可据此在现有管线中获得约 2 倍加速且输出不变。
OpenAI 宣布 ChatGPT 新增看、听、说能力，可处理图像与语音输入并语音回复。
OpenAI 发布 ChatGPT 的 iOS 应用，可同步用户的对话记录，并支持语音输入。该应用同时带来 OpenAI 最新的模型改进。
推荐理由：OpenAI 官方发布 ChatGPT iOS 应用，给出对话同步与语音输入两项核心能力。
Hugging Face 宣布 SpeechT5 已集成进 Transformers，论文作者发布的官方 checkpoint 可在 Hugging Face Hub 获取，并提供语音合成、音色转换和自动语音识别三个 Spaces 演示。
推荐理由：SpeechT5 以同一套编码器解码器架构覆盖 TTS、语音转换与 ASR，读者可据此了解多任务语音模型在 Transformers 中的接入方式。
OpenAI 宣布训练并开源神经网络 Whisper，其在英文语音识别上接近人类水平的稳健性和准确度。
推荐理由：OpenAI 开源语音识别模型 Whisper，读者可了解其在英文语音识别上的稳健性与准确度定位。
Hugging Face 博客介绍如何利用 Wav2Vec2 所用 CTC 架构的特性，在 Transformers 中对任意长音频乃至实时流做语音识别。
推荐理由：原文给出 CTC 模型分块加 stride 的具体参数与代码，读者可据此在长音频和实时场景中复用。