// AI 新闻 · 2026-10-28 · Google Research Blog
谷歌提出LLM知识持续学习的‘睡眠框架’
谷歌研究团队提出一种名为‘睡眠框架’的持续学习机制,使大型语言模型在保持核心架构不变的前提下,通过周期性休眠阶段实现知识积累与推理能力提升。该框架将模型运行分为活跃(清醒)和休眠两个阶段,在活跃期接收输入并存储短期信息,休眠期则进行记忆巩固与自我优化。
原文发布 2026-10-28 01:35(北京时间)来源 Google Research Blog自动整理 · 已核对原文
01摘要
模型在休眠期间利用预分配的Mixture-of-Experts(MoE)内存块,通过自生成示例更新参数,将短期上下文转化为稳定的长期参数。框架结合参数扩展与连续记忆层级结构,动态扩容模型容量,防止灾难性遗忘;同时引入在线蒸馏和学习模仿机制,在合成数据中进行自我训练,并通过强化学习对优质样本进行迭代优化,最终实现对新事实的持续吸收和复杂推理能力的增强。
由开源模型根据原文自动整理,经数字/专名逐项核对(必须在原文中出现),以原文为准。
02要点
- 睡眠框架通过活跃与休眠周期实现LLM的持续学习与知识保留
- 模型在休眠期利用MoE结构扩展容量,将短期记忆转化为长期参数
- 引入自生成合成数据与强化学习机制,提升推理能力和知识泛化
- 支持长达10M token的长上下文知识保留,缓解灾难性遗忘问题
03原文出处
The sleep framework: A new way for LLMs to retain knowledge in continual learning
Google Research Blog · 发布于 2026-10-28 01:35(北京时间) · 上方为原标题
05同主题新闻
- Gemini Enterprise 通过 MCP 安全连接 Snowflake2026-10-28 · Google Cloud
- Oracle AI Database@Google Cloud 推出 Gemini 集成与 agentic 工作流能力2026-10-28 · Google Cloud
- Gemini 4 Argon 模型八类应用场景展示2026-10-27 · Google Gemini
- 谷歌与甲骨文合作将TPU引入Oracle云基础设施2026-10-27 · Google Cloud
- Gemini Robotics Embodied Reasoning 2 上线 Google Cloud2026-10-27 · Google Cloud AI/ML
- Gemini Notebook 在 Android 和 iOS 添加内置音频记录功能2026-10-28 · 9to5Google
出自智图 AI 新闻:从 1100 多个官方与媒体信源采集。摘要只转述原文内容,详情请看原文。 全部 AI 新闻 · 今日