Hugging Face Blog·· 2023-05-15精选AI 评分62
Hugging Face 介绍 RWKV：兼具 Transformer 优势的 RNN 架构
Introducing RWKV - An RNN with the advantages of a transformer
AI 导读
Hugging Face 发文介绍 RWKV 架构，它结合了 RNN 与 Transformer 的优势，并已被集成进 transformers 库。RWKV 由 Bo Peng 主导，训练 GPU 由 Stability AI 捐赠，现有模型参数从约 170M 到 14B，训练上下文长度达 8192 且速度与 ctx1024 模型相当。
推荐理由
结合 RWKV 架构原理与 transformers 集成示例，读者可了解 RNN 与 Transformer 优势如何被合并。
来源：Hugging Face Blog · huggingface.co