Skip to content
简体中文

切换主题

// ◎ Transformer 与注意力

原生稀疏注意力 NSA

可训练、对硬件友好的动态稀疏注意力。

Native Sparse Attention (NSA) 2025 前沿研究 核心

通俗解释

把长上下文分成三路:压缩的粗粒度块、精选的重要块和局部滑动窗口,用门控合并。从预训练起就稀疏,长文本推理和训练都显著加速。

用在哪里:DeepSeek 长上下文研究;同一团队后来在 DeepSeek-V3.2-Exp 中上线了另一种细粒度稀疏注意力 DSA

时间轴 · 前置 → 当前 → 后继

2020 滑动窗口/稀疏注意力2022 FlashAttention2025 原生稀疏注意力 NSA

01原始论文

Native Sparse Attention: Hardware-Aligned and Natively Trainable Sparse Attention

Jingyang Yuan, Huazuo Gao, Damai Dai, et al. · 2025

arXiv ↗ ✓ 已核实 · arXiv API

备注:截至 2026-10-22 未在 DeepSeek 官方模型卡中找到发布模型采用 NSA 的说法;DeepSeek-V3.2-Exp 采用的是另一种细粒度稀疏注意力 DSA(官方仓库说明)

02知识位置

左边先学;右边是学完它之后可以学的。

先学

原生稀疏注意力 NSA

学完可以学

  • 图谱里暂无后继

相关:多头潜在注意力 MLA

滑动窗口/稀疏注意力FlashAttention多头潜在注意力 MLA 原生稀疏注意力 NSA

左:前置 · 右:后继 · 虚线:相关。看完整关系图 →

03学习资料

官方文档、图解、课程和参考实现,链接都核对过。

04在课程里哪里学

所在学习路线:生成式与前沿研究

给 AI 读 / 数据说明

数据更新于:AI 算法图谱与课程体系(北京时间)