Google Research·· 1 小时前精选AI 评分65
Google 提出 sleep 框架：让 LLM 在持续学习中保留知识
The sleep framework: A new way for LLMs to retain knowledge in continual learning
AI 导读
Google Research 提出 sleep 框架，让 LLM 在活跃交互与离线睡眠之间交替，把短期上下文巩固为长期参数。睡眠阶段通过 MoE 参数扩展、广义知识蒸馏与 RL 模仿学习完成记忆巩固，再用随机专家激活和梯度筛选的合成样本自我改进。
推荐理由
Google 研究者提出睡眠式持续学习框架，用记忆巩固与梦境自改进两阶段缓解灾难性遗忘，并给出多基准对比结果。
来源：Google Research · research.google