Skip to content
简体中文

切换主题

发现▾

不知道从哪开始？本周最热的软件、模型和组合，3 分钟看完 AI 圈的变化。

AI 软件▾

给人用的 AI 软件：从 ChatGPT 这类助手，到写代码、做视频、搭工作流的工具，按用途挑。

Agent 工具▾

给 AI 用的软件：让你的 agent（Claude Code、Codex、Cursor…）能上网、读文档、跑代码、记住事情。

模型▾

选模型、算成本、自己部署：价格、榜单、评测、免费额度和自建算力都在这里。

解决方案▾

有具体目标或报错？按场景给出现成的软件组合、步骤和问题解法。

学 AI▾

一套从零到前沿的系统课程，配算法库、必读论文和精选教程。

前沿▾

每天的 AI 新闻、每周热点、最新论文和 AI 改造各学科的进度。

// 阶段 9 · 安全、评测与前沿

可解释性：从归因到电路

归因、探针、Logit Lens、叠加、SAE、电路追踪、知识编辑与激活引导。

读正文 → 代码与练习 ↓

约 10 小时9 个算法4 篇论文已有正文

01学习目标

建议先学：Transformer 与注意力

02站内正文

03要掌握的算法

每张卡都有原始论文、前置和学习资料。

特征归因（积分梯度 / SHAP）Feature Attribution (Integrated Gradients / SHAP) 计算每个输入特征对预测贡献了多少。 2017核心 Grad-CAM 热力图Grad-CAM 用梯度生成热力图，显示 CNN 看图时关注哪里。 2016扩展 Logit Lens 与探针Logit Lens & Probing 把中间层的表示直接解码成词，或用小分类器探测其中编码的信息。 2020核心 电路与归纳头Circuits & Induction Heads 找出模型中实现具体算法的“电路”，如复制前文模式的归纳头。 2022核心 叠加假说Superposition 模型用比神经元更多的“特征”，把它们叠加压缩在同一组维度里。 2022核心 稀疏自编码器 SAESparse Autoencoders (SAE) 把模型激活分解成大量可解释的稀疏“特征”。 2023核心 电路追踪与归因图Circuit Tracing & Attribution Graphs 用替代模型画出某次回答中特征之间的因果路径图。 2025核心 知识定位与编辑 ROMELocating & Editing Facts (ROME) 找到事实存储在哪一层，并直接修改那里的权重。 2022扩展 激活引导Activation Steering 在推理时给中间激活加一个“方向向量”来改变模型行为。 2023核心

04必读论文

05课程与视频

06动手：项目、代码与练习

全部是官方或作者公开的免费页面，多数能在浏览器或免费 Colab 里直接运行。

动手项目

在 GPT-2 small 上复现归纳头检测，并用 Neuronpedia 上的 SAE 特征做一次引导实验。

  1. 1
    ARENA 对齐研究工程课程 ↗课程

    完成 ARENA 的 Transformer 可解释性章节练习。

  2. 2
    TransformerLens ↗参考实现

    用 TransformerLens 复现 GPT-2 的归纳头。

  3. 3
    Neuronpedia ↗工具

    在 Neuronpedia 上浏览 SAE 特征并做激活引导实验。

07自测题

先自己想，再点开看答案。

叠加假说说明了什么？

特征数多于神经元，单个神经元常是多义的。

SAE 训练目标的两部分？

重建误差 + 稀疏性惩罚。

归纳头实现什么行为？

看到 A B … A 时预测 B。

所在人群路线：算法研究者

数据更新于：AI 算法图谱与课程体系（北京时间）