本类时间线
01核心算法
先学这些,按年份排列。
特征归因(积分梯度 / SHAP)Feature Attribution (Integrated Gradients / SHAP) 计算每个输入特征对预测贡献了多少。 2017核心 Logit Lens 与探针Logit Lens & Probing 把中间层的表示直接解码成词,或用小分类器探测其中编码的信息。 2020核心 电路与归纳头Circuits & Induction Heads 找出模型中实现具体算法的“电路”,如复制前文模式的归纳头。 2022核心 叠加假说Superposition 模型用比神经元更多的“特征”,把它们叠加压缩在同一组维度里。 2022核心 稀疏自编码器 SAESparse Autoencoders (SAE) 把模型激活分解成大量可解释的稀疏“特征”。 2023核心 激活引导Activation Steering 在推理时给中间激活加一个“方向向量”来改变模型行为。 2023核心 电路追踪与归因图Circuit Tracing & Attribution Graphs 用替代模型画出某次回答中特征之间的因果路径图。 2025核心
02扩展
核心学懂之后值得了解的变体和后续工作。