Hugging Face Blog·· 2024-12-19精选AI 评分71
Answer.AI 与 LightOn 发布 ModernBERT，为 BERT 提供现代替代方案
Finally, a Replacement for BERT: Introducing ModernBERT
AI 导读
Answer.AI 与 LightOn 发布 ModernBERT，一个仅编码器模型系列，提供 base（149M 参数）和 large（395M 参数）两个版本，支持 8192 token 上下文，可作为 BERT 类模型的直接替代。
推荐理由
ModernBERT 用现代 LLM 技术重做编码器，给出 8k 上下文与速度数据，可据此判断它能否替换现有 BERT 类模型。
来源：Hugging Face Blog · huggingface.co