Google Research·· 6 天前精选AI 评分60
Google 提出 sleep 框架，让 LLM 在持续学习中保留知识
The sleep framework: A new way for LLMs to retain knowledge in continual learning
AI 导读
Google Research 提出 sleep 框架，为 LLM 设计“清醒交互 + 离线睡眠”的周期性学习流程，在睡眠阶段通过 MoE 参数扩展和知识蒸馏把短期上下文写入长期参数，并借助自生成样本的梦境阶段自我改进。
推荐理由
Google 提出模拟睡眠的持续学习框架，用记忆巩固与梦境自改进缓解灾难性遗忘，并给出多基准对比结果。
来源：Google Research · research.google