跳到正文
原文
Hugging Face Blog·· 2023-05-11精选AI 评分62

Hugging Face 提出辅助生成:低延迟文本生成的新方向

Assisted Generation: a new direction toward low-latency text generation

AI 导读

Hugging Face 发布辅助生成(assisted generation)解码方法,用一个至少小一个数量级的助手模型快速生成候选 token,再由主模型前向验证,在 Transformers 中通过 assistant_model 参数即可启用。

推荐理由

Hugging Face 官方详解辅助生成解码方法,给出可复现的延迟数据与 Transformers 调用方式。

来源:Hugging Face Blog · huggingface.co