AWS 在 SageMaker 上部署 Kokoro TTS 并推导扩缩容参数
先了解这件事
2026年10月23日，AWS Machine Learning Blog 发文，针对自托管 TTS 端点自动扩缩容目标值靠猜的问题，介绍在 Amazon SageMaker AI 实时端点上部署 82M 参数的 Kokoro-82M 自定义容器，并以实测的 Q_max（单实例在 SLO 内可承受的最高并发）和 T_total（一次扩容端到端耗时）通过算术推导出扩容阈值、缩容阈值和两个冷却时间；报道未给出具体数值或后续验证结果。同日稍后，该博客再发文介绍同一部署方案用于 AI 智能体流式语音输出：将智能体生成的每个句子即时送入合成，使音频在完整回复生成前开始播放；模型仅 8200 万参数，可运行在单台 ml.g5.xlarge GPU 实例上，容器同时提供 POST /invocations 与 WebSocket 双向流两条路径。
AI 根据报道生成 · 31 分钟前更新
事件进展
- 10月23日 01:45 · 1 篇报道AWS博客介绍在SageMaker上流式部署Kokoro TTSAWS Machine Learning Blog：在 Amazon SageMaker AI 上用 Kokoro TTS 为 AI 智能体流式输出低延迟语音
- 10月23日 00:30 · 1 篇报道AWS博客介绍SageMaker TTS自动扩缩容实测方法AWS Machine Learning Blog：别再猜 Amazon SageMaker AI 上 TTS 的自动扩缩容目标值
报道时间线
沿着报道，了解事件的不同侧面。
- AWS Machine Learning Blog在 Amazon SageMaker AI 上用 Kokoro TTS 为 AI 智能体流式输出低延迟语音
在 Amazon SageMaker AI 的实时端点上托管 Kokoro-82M 文本转语音模型，可将 AI 智能体生成的每个句子即时送入合成，让音频在完整回复生成前就开始播放。该模型仅 8200 万参数，可运行在单台 ml.g5.xlarge GPU 实例上，容器同时提供 POST /invocations 与 WebSocket 双向流两条路径。
- AWS Machine Learning Blog别再猜 Amazon SageMaker AI 上 TTS 的自动扩缩容目标值
针对自托管 TTS 端点自动扩缩容目标值靠猜的问题，AWS 在 Amazon SageMaker AI 实时端点上部署 82M 参数的 Kokoro-82M 自定义容器，用实测的 Q_max（单实例在 SLO 内可承受的最高并发）和 T_total（一次扩容端到端耗时）通过算术推导出扩容阈值、缩容阈值和两个冷却时间。
本事件热度走势
还没有足够的连续观测数据，暂不绘制趋势。