Hugging Face Blog·· 2023-05-11精选AI 评分62
Hugging Face 提出辅助生成:低延迟文本生成的新方向
Assisted Generation: a new direction toward low-latency text generation
AI 导读
Hugging Face 发布辅助生成(assisted generation)解码方法,用一个至少小一个数量级的助手模型快速生成候选 token,再由主模型前向验证,在 Transformers 中通过 assistant_model 参数即可启用。
推荐理由
Hugging Face 官方详解辅助生成解码方法,给出可复现的延迟数据与 Transformers 调用方式。
来源:Hugging Face Blog · huggingface.co