Skip to content
简体中文

切换主题

// ⌖ 可解释性

Logit Lens 与探针

把中间层的表示直接解码成词,或用小分类器探测其中编码的信息。

Logit Lens & Probing 2020 进阶 核心

通俗解释

Logit Lens 把每层的隐藏状态乘以输出矩阵,看模型在中途“想到了”哪个词;探针则训练线性分类器检查某层是否编码了语法、真假等信息。它们是理解模型内部的入门工具。

用在哪里:可解释性研究入门

时间轴 · 前置 → 当前 → 后继

2017 Transformer 与…2020 Logit Lens 与探针2022 电路与归纳头2022 知识定位与编辑 ROME2023 激活引导

01原始论文

interpreting GPT: the logit lens

nostalgebraist · LessWrong · 2020

打开 ↗ ✓ 已核实 · 官方页面 HTTP/WebFetch 核实

备注:原始出处为博客文章,非同行评审论文

02知识位置

左边先学;右边是学完它之后可以学的。

Transformer 与自注…电路与归纳头知识定位与编辑 ROME激活引导 Logit Lens 与探针

左:前置 · 右:后继 · 虚线:相关。看完整关系图 →

03学习资料

官方文档、图解、课程和参考实现,链接都核对过。

04在课程里哪里学

给 AI 读 / 数据说明

数据更新于:AI 算法图谱与课程体系(北京时间)