Skip to content
简体中文

切换主题

// ⌖ 可解释性

电路与归纳头

找出模型中实现具体算法的“电路”,如复制前文模式的归纳头。

Circuits & Induction Heads 2022 高级 核心

通俗解释

Anthropic 在小型 Transformer 中发现两层注意力头组成的“归纳头”:看到 A B … A 时预测 B。它们在训练中突然出现,并与上下文学习能力同时形成。

用在哪里:机制可解释性研究

时间轴 · 前置 → 当前 → 后继

2017 Transformer 与…2020 Logit Lens 与探针2022 电路与归纳头2025 电路追踪与归因图

01原始论文

In-context Learning and Induction Heads

Catherine Olsson, Nelson Elhage, Neel Nanda, et al. · 2022

arXiv ↗ ✓ 已核实 · arXiv API

02知识位置

左边先学;右边是学完它之后可以学的。

相关:叠加假说

Transformer 与自注…Logit Lens 与探针电路追踪与归因图叠加假说 电路与归纳头

左:前置 · 右:后继 · 虚线:相关。看完整关系图 →

03学习资料

官方文档、图解、课程和参考实现,链接都核对过。

04在课程里哪里学

给 AI 读 / 数据说明

数据更新于:AI 算法图谱与课程体系(北京时间)