Hugging Face Blog·· 2024-05-16AI 评分50
Hugging Face 推出 KV Cache 量化，支持更长文本生成
Unlocking Longer Generation with Key-Value Cache Quantization
AI 导读
Hugging Face 在 Transformers 中新增 KV Cache 量化功能，通过将键值缓存压缩为低精度格式降低长上下文生成的内存占用，且对生成质量影响极小。
来源：Hugging Face Blog · huggingface.co