Skip to content
简体中文

切换主题

// ∿ 新架构:SSM / 线性注意力

Mamba-2 / 状态空间对偶

证明 SSM 与一类注意力等价,并据此设计更快的 Mamba。

Mamba-2 (State Space Duality) 2024 前沿研究 扩展

通俗解释

论文提出“结构化状态空间对偶”框架,把选择性 SSM 写成带掩码的矩阵乘法,从而能用张量核心高效计算,状态维度也能更大。

用在哪里:混合架构大模型

时间轴 · 前置 → 当前 → 后继

2020 线性注意力2023 Mamba 选择性状态空间2024 Mamba-2 / 状态空间对偶2024 门控 DeltaNet

01原始论文

Transformers are SSMs: Generalized Models and Efficient Algorithms Through Structured State Space Duality

Tri Dao, Albert Gu · 2024

arXiv ↗ ✓ 已核实 · arXiv API

02知识位置

左边先学;右边是学完它之后可以学的。

先学

Mamba-2 / 状态空间对偶

学完可以学

Mamba 选择性状态空间线性注意力门控 DeltaNet Mamba-2 / 状态空间对偶

左:前置 · 右:后继 · 虚线:相关。看完整关系图 →

03学习资料

官方文档、图解、课程和参考实现,链接都核对过。

04在课程里哪里学

给 AI 读 / 数据说明

数据更新于:AI 算法图谱与课程体系(北京时间)