通俗解释
把长上下文分成三路:压缩的粗粒度块、精选的重要块和局部滑动窗口,用门控合并。从预训练起就稀疏,长文本推理和训练都显著加速。
用在哪里:DeepSeek 长上下文研究;同一团队后来在 DeepSeek-V3.2-Exp 中上线了另一种细粒度稀疏注意力 DSA
01原始论文
Native Sparse Attention: Hardware-Aligned and Natively Trainable Sparse Attention
Jingyang Yuan, Huazuo Gao, Damai Dai, et al. · 2025
arXiv ↗ ✓ 已核实 · arXiv API
备注:截至 2026-10-22 未在 DeepSeek 官方模型卡中找到发布模型采用 NSA 的说法;DeepSeek-V3.2-Exp 采用的是另一种细粒度稀疏注意力 DSA(官方仓库说明)
02知识位置
左边先学;右边是学完它之后可以学的。
相关:多头潜在注意力 MLA
左:前置 · 右:后继 · 虚线:相关。看完整关系图 →
03学习资料
官方文档、图解、课程和参考实现,链接都核对过。
04在课程里哪里学
所在学习路线:生成式与前沿研究
给 AI 读 / 数据说明
- 核实状态:已核实,核对于 2026-10-22。
- JSON: /api/learn/algorithms.json (id:
nsa)