// AI 新闻 · 2026-10-30 · IT之家
谷歌发布‘睡眠框架’助力大模型持续学习
谷歌研究团队于2023年10月27日发布‘睡眠框架’,提出通过模拟人类睡眠机制实现大语言模型的持续学习。模型在清醒阶段处理输入并暂存信息,进入睡眠阶段后进行记忆整合与自我优化,避免知识遗忘和灾难性遗忘。
原文发布 2026-10-30 13:51(北京时间)来源 IT之家自动整理 · 已核对原文
01摘要
该框架采用参数扩展、混合专家记忆块和知识蒸馏技术将短期记忆转化为长期参数,并通过‘做梦’环节生成合成样本以强化推理能力。实验表明,模型在持续翻译、长上下文理解及数学推理等任务中表现优于基线方法,可支持约1000万token的上下文处理,在多语言持续学习中保持接近零性能下降,并在AIME 24/25等数学基准上取得更高准确率。
由开源模型根据原文自动整理,经数字/专名逐项核对(必须在原文中出现),以原文为准。
02要点
- 模型通过‘清醒’与‘睡眠’阶段交替运行,实现知识的动态更新与巩固。
- 睡眠阶段采用参数扩展和知识蒸馏技术,将短期记忆转化为长期存储而不覆盖旧知识。
- ‘做梦’环节利用强化学习生成合成样本,提升模型推理与泛化能力。
- 在持续翻译、长上下文理解及数学任务中,模型表现优于多种现有方法且保持稳定性能。
03原文出处
告别知识截止日:谷歌让 AI 学会“睡觉”,边用边学还不忘旧知识
IT之家 · 发布于 2026-10-30 13:51(北京时间)
05同主题新闻
出自智图 AI 新闻:从 1100 多个官方与媒体信源采集。摘要只转述原文内容,详情请看原文。 全部 AI 新闻 · 今日