Skip to content
简体中文

切换主题

// ◎ Transformer 与注意力

YaRN 上下文扩展

通过调整 RoPE 频率,用少量训练把上下文窗口扩大数倍。

YaRN (Context Window Extension) 2023 高级 核心

通俗解释

直接让模型读超过训练长度的文本会崩。YaRN 对不同频率的旋转维度做不同程度的插值,并调整注意力温度,只需少量长文本微调即可把 4K 扩到 64K–128K。

用在哪里:Qwen 系列长上下文、DeepSeek 长上下文扩展

时间轴 · 前置 → 当前 → 后继

2021 旋转位置编码 RoPE2023 YaRN 上下文扩展

01原始论文

YaRN: Efficient Context Window Extension of Large Language Models

Bowen Peng, Jeffrey Quesnelle, Honglu Fan, et al. · 2023

arXiv ↗ ✓ 已核实 · arXiv API

02知识位置

左边先学;右边是学完它之后可以学的。

先学

YaRN 上下文扩展

学完可以学

  • 图谱里暂无后继

相关:环形注意力 Ring Attention

旋转位置编码 RoPE环形注意力 Ring Atte… YaRN 上下文扩展

左:前置 · 右:后继 · 虚线:相关。看完整关系图 →

03学习资料

官方文档、图解、课程和参考实现,链接都核对过。

04在课程里哪里学

给 AI 读 / 数据说明

数据更新于:AI 算法图谱与课程体系(北京时间)