Skip to content
简体中文

切换主题

// ⌖ 可解释性

稀疏自编码器 SAE

把模型激活分解成大量可解释的稀疏“特征”。

Sparse Autoencoders (SAE) 2023 高级 核心

通俗解释

训练一个比激活维度宽得多、但每次只激活少数单元的自编码器重建模型内部激活,每个单元往往对应一个清晰概念(如“金门大桥”“代码漏洞”)。Anthropic、OpenAI、DeepMind 均已扩展到前沿模型。

用在哪里:Claude 特征研究、Gemma Scope、Neuronpedia

时间轴 · 前置 → 当前 → 后继

2013 变分自编码器 VAE2022 叠加假说2023 稀疏自编码器 SAE2025 电路追踪与归因图

01原始论文

Sparse Autoencoders Find Highly Interpretable Features in Language Models

Hoagy Cunningham, Aidan Ewart, Logan Riggs, et al. · 2023

arXiv ↗ ✓ 已核实 · arXiv API

备注:Anthropic 同期工作《Towards Monosemanticity》(2023)发布于 transformer-circuits.pub;OpenAI 扩展:arXiv:2406.04093

02知识位置

左边先学;右边是学完它之后可以学的。

先学

稀疏自编码器 SAE

学完可以学

相关:激活引导

叠加假说变分自编码器 VAE电路追踪与归因图激活引导 稀疏自编码器 SAE

左:前置 · 右:后继 · 虚线:相关。看完整关系图 →

03学习资料

官方文档、图解、课程和参考实现,链接都核对过。

04在课程里哪里学

所在学习路线:生成式与前沿研究

给 AI 读 / 数据说明

数据更新于:AI 算法图谱与课程体系(北京时间)