Hugging Face Blog·· 2023-12-20精选AI 评分62
用投机解码让 Whisper 推理提速 2 倍
Speculative Decoding for 2x Faster Whisper Inference
AI 导读
Hugging Face 博客介绍如何用投机解码将 Whisper 推理速度提升约 2 倍，同时保证输出与单独使用主模型完全一致。
推荐理由
给出 Whisper 投机解码的完整实现与基准数据，读者可据此在现有管线中获得约 2 倍加速且输出不变。
来源：Hugging Face Blog · huggingface.co