Google Research·· 5 天前AI 评分58
Google 提出 sleep 框架，让 LLM 在持续学习中保留知识
The sleep framework: A new way for LLMs to retain knowledge in continual learning
AI 导读
Google 研究团队提出 sleep 框架，让 LLM 在活跃交互与离线记忆巩固之间交替，从而持续吸收新知识而不发生灾难性遗忘。该框架通过 MoE 参数扩展、广义知识蒸馏与基于 RL 的模仿学习完成记忆巩固，并在梦境阶段用随机专家激活和梯度筛选生成合成样本自我改进。
来源：Google Research · research.google