Skip to content
简体中文

切换主题

// AI 新闻 · 2026-10-28 · Google Research Blog

谷歌提出LLM知识持续学习的‘睡眠框架’

谷歌研究团队提出一种名为‘睡眠框架’的持续学习机制,使大型语言模型在保持核心架构不变的前提下,通过周期性休眠阶段实现知识积累与推理能力提升。该框架将模型运行分为活跃(清醒)和休眠两个阶段,在活跃期接收输入并存储短期信息,休眠期则进行记忆巩固与自我优化。

原文发布 2026-10-28 01:35(北京时间)来源 Google Research Blog自动整理 · 已核对原文

01摘要

模型在休眠期间利用预分配的Mixture-of-Experts(MoE)内存块,通过自生成示例更新参数,将短期上下文转化为稳定的长期参数。框架结合参数扩展与连续记忆层级结构,动态扩容模型容量,防止灾难性遗忘;同时引入在线蒸馏和学习模仿机制,在合成数据中进行自我训练,并通过强化学习对优质样本进行迭代优化,最终实现对新事实的持续吸收和复杂推理能力的增强。

由开源模型根据原文自动整理,经数字/专名逐项核对(必须在原文中出现),以原文为准。

02要点

03原文出处

The sleep framework: A new way for LLMs to retain knowledge in continual learning

Google Research Blog · 发布于 2026-10-28 01:35(北京时间) · 上方为原标题

05同主题新闻

出自智图 AI 新闻:从 1100 多个官方与媒体信源采集。摘要只转述原文内容,详情请看原文。 全部 AI 新闻 · 今日

数据更新于:AI 新闻(北京时间)