通俗解释
Logit Lens 把每层的隐藏状态乘以输出矩阵,看模型在中途“想到了”哪个词;探针则训练线性分类器检查某层是否编码了语法、真假等信息。它们是理解模型内部的入门工具。
用在哪里:可解释性研究入门
01原始论文
interpreting GPT: the logit lens
nostalgebraist · LessWrong · 2020
打开 ↗ ✓ 已核实 · 官方页面 HTTP/WebFetch 核实
备注:原始出处为博客文章,非同行评审论文
02知识位置
左边先学;右边是学完它之后可以学的。
左:前置 · 右:后继 · 虚线:相关。看完整关系图 →
03学习资料
官方文档、图解、课程和参考实现,链接都核对过。
04在课程里哪里学
给 AI 读 / 数据说明
- 核实状态:已核实,核对于 2026-10-21。
- JSON: /api/learn/algorithms.json (id:
logit-lens)