Google 提出 LLM 持续学习睡眠框架

1. 01:35
   Google Research 精选

   Google 提出睡眠框架，让 LLM 在持续学习中保留知识

   Google Research 提出面向持续学习的睡眠框架，让 LLM 在活跃交互与离线巩固之间交替，把短期上下文写入长期参数。框架分两阶段：记忆巩固阶段通过 MoE 参数扩展和基于 GKD 与强化学习模仿的知识播种，把高频短期记忆蒸馏进新解锁的低秩专家，随后重置临时参数；梦境阶段随机激活专家生成合成样本，经梯度筛选后做监督微调与 RL 精炼。

趋势仅比较持续完整观测到的相同主体，范围可能小于当前热度统计。移动指针或点击图表查看每小时热度；键盘可用左右方向键切换。