大模型内部学到了什么？表征、特征与可解释性

为什么要往里看？

大模型是怎么计算的，我们一清二楚，每一次乘法都写得明明白白。我们不知道的是：这几十亿个学出来的数字代表什么。可解释性研究就是要回答这个问题，一方面出于科学好奇，另一方面，如果能读懂模型内部在发生什么，审计和控制强大的系统就容易得多。

回顾 Transformer 与注意力机制 中的结构：每个 token 的向量沿着一条残差流穿过几十层；注意力层在 token 之间搬运信息，前馈（MLP）层对信息做变换。可解释性要问的是：这些中间向量（激活）到底表示什么。

发现一：概念是方向

一个简单的工具是线性探针（Alain & Bengio，2016）：训练一个很小的线性分类器，从某一层的激活里读出某种属性。如果读得出来，说明这条信息以容易使用的形式存在。

探针一次次发现了丰富的结构：

• 棋盘：一个只用合法黑白棋走法序列训练、从没见过棋盘的 GPT 模型，内部表征了棋盘状态，修改这个表征会改变它预测的走法（Li 等，2022）。
• 空间与时间：Llama-2 内部有地点经纬度、历史事件和人物年代的线性表征（Gurnee & Tegmark，2023）。

这就是从 word2vec 开始的“线性表征”思想（见 Token 与 Embedding）：很多概念对应激活空间里的方向。

发现二：事实存在哪里

前馈层的行为类似键值记忆：有些神经元对特定输入模式响应，并推动特定的输出 token（Geva 等，2020）。ROME（Meng 等，2022）把事实回忆（“埃菲尔铁塔位于……巴黎”）定位到 GPT 中间层的 MLP，并证明可以通过有针对性地改动权重来编辑这条关联，让模型“相信”铁塔在罗马。

发现三：叠加，概念比神经元多

如果每个神经元只代表一件事，直接读神经元就行了。可惜通常不是：同一个神经元可能对韩文、文献引用和 HTTP 请求都有反应。Elhage 等（2022） 用玩具模型解释了原因：当有用的特征多于维度、而且这些特征很少同时出现时，网络会把它们以叠加的方式存放，也就是一组互相重叠、几乎正交的方向。

发现四：字典学习找出数百万个特征

**稀疏自编码器（SAE）**用来“拆开”叠加。它学着把每个激活改写成一本超大“字典”里少数几个活跃“特征”的加和。

flowchart LR
  A["激活向量（几千维，一词多义）"] --> E["SAE 编码器"]
  E --> F["数百万个稀疏特征（每次只有少数活跃）"]
  F --> D["SAE 解码器"]
  D --> R["重建的激活"]
  F --> L["用激活它们的文本给特征命名"]

Anthropic 把这种方法用到了生产级模型上，从 Claude 3 Sonnet 中提取了多达约 3400 万个特征（Templeton 等，2024）；OpenAI 在 GPT-4 的激活上训练了 1600 万特征的 SAE（Gao 等，2024）。特征既有具体实体（金门大桥），也有抽象概念（代码漏洞、谄媚式夸奖、保密），而且常常跨语言、跨模态。关键在于它们有因果作用：把“金门大桥”特征固定在高位，模型几乎每个回答都会扯到这座桥。

发现五：电路，特征如何组合

特征是词汇，电路是算法。

• 归纳头（Olsson 等，2022）：一对注意力头实现“如果前面出现过 A B，现在又看到 A，就预测 B”。这是上下文学习背后的关键机制，而且在训练中是突然出现的。
• 归因图（Lindsey 等，2025）追踪 Claude 3.5 Haiku 里是哪些特征导致了某个输出。例如：回答“达拉斯所在州的首府是哪里”，模型内部会先经过“得克萨斯”再到“奥斯汀”，是真正的两步推理；写押韵诗时，模型会在写这一行之前先选好韵脚词，也就是提前规划。

我们还不知道什么

• 现有工具只能解释模型计算的一小部分；SAE 的重建并不完美，给数百万个特征命名也部分依赖自动化。
• **模型的自我解释并不可靠。**思维链文本可能漏掉答案的真实原因（Turpin 等，2023）；归因图研究也发现过模型声称的方法和它实际计算不一致的例子。
• 这些碎片能否拼成一个完整的“世界模型”，以及这些方法能扩展到多大的模型，都还是开放问题。

继续深入

接下来可以看 电路与稀疏自编码器 和 探针、知识编辑与激活引导（编写中）。想动手的话，Transformer Circuits 系列文章（transformer-circuits.pub）和 Google DeepMind 开放的 Gemma Scope SAE 都是很好的起点。