// ∿ 算法图谱
新架构：SSM / 线性注意力
Mamba、RWKV、线性注意力、混合架构与扩散语言模型等 Transformer 之外的路线。
5 个核心6 个扩展2018–2025
本类时间线
01核心算法
先学这些，按年份排列。
Mamba 选择性状态空间Mamba (Selective State Spaces) 让状态空间参数随输入变化，获得线性时间且接近 Transformer 的效果。 2023核心 RWKV 能像 Transformer 并行训练、像 RNN 一样推理的模型。 2023核心 门控 DeltaNetGated Delta Networks 把“增量规则”记忆更新和门控遗忘结合的线性注意力。 2024核心 混合架构（Transformer+SSM）Hybrid Architectures (Jamba) 在同一模型里交替堆叠注意力层和 Mamba 层（并加 MoE）。 2024核心 扩散语言模型Diffusion Language Models (LLaDA) 不按从左到右生成，而是从全遮盖逐步“去噪”出整段文本。 2025核心
02扩展
核心学懂之后值得了解的变体和后续工作。
循环语言模型（Looped LM）Looped Language Models 同一组层反复执行多次，用“算更多遍”代替“堆更多层”。 2018扩展 结构化状态空间 S4Structured State Spaces (S4) 用连续时间状态空间方程高效建模超长序列。 2021扩展 RetNet 保留网络Retentive Network (RetNet) 可并行、可递推、可分块三种模式切换的注意力替代方案。 2023扩展 Hyena 长卷积Hyena Hierarchy 用隐式参数化的超长卷积和门控代替注意力。 2023扩展 Mamba-2 / 状态空间对偶Mamba-2 (State Space Duality) 证明 SSM 与一类注意力等价，并据此设计更快的 Mamba。 2024扩展 xLSTM 用指数门控和矩阵记忆升级 LSTM，与 Transformer 正面竞争。 2024扩展