Skip to content
简体中文

切换主题

// ∿ 新架构:SSM / 线性注意力

混合架构(Transformer+SSM)

在同一模型里交替堆叠注意力层和 Mamba 层(并加 MoE)。

Hybrid Architectures (Jamba) 2024 高级 核心

通俗解释

少量注意力层负责精确检索,大量 Mamba 层负责高效处理长序列,兼顾质量与吞吐。Jamba 是第一个生产级的此类模型,此后混合架构成为热门方向。

用在哪里:AI21 Jamba 系列

时间轴 · 前置 → 当前 → 后继

2017 稀疏门控混合专家2023 Mamba 选择性状态空间2024 混合架构(Transformer+…

01原始论文

Jamba: A Hybrid Transformer-Mamba Language Model

Opher Lieber, Barak Lenz, Hofit Bata, et al. · 2024

arXiv ↗ ✓ 已核实 · arXiv API

02知识位置

左边先学;右边是学完它之后可以学的。

先学

混合架构(Transformer+SSM)

学完可以学

  • 图谱里暂无后继

相关:门控 DeltaNet

Mamba 选择性状态空间稀疏门控混合专家门控 DeltaNet 混合架构(Transformer+SS…

左:前置 · 右:后继 · 虚线:相关。看完整关系图 →

03学习资料

官方文档、图解、课程和参考实现,链接都核对过。

04在课程里哪里学

所在学习路线:生成式与前沿研究

给 AI 读 / 数据说明

数据更新于:AI 算法图谱与课程体系(北京时间)