Skip to content
简体中文

切换主题

// ⌖ 可解释性

激活引导

在推理时给中间激活加一个“方向向量”来改变模型行为。

Activation Steering 又名 Abliteration / 拒绝方向消融 / Directional Ablation / Steering Vector 2023 进阶 核心

通俗解释

直觉:模型内部的某些“方向”对应某种行为。用两组对比提示(如“爱”与“恨”)的激活差得到引导向量,推理时加到某层,就能让模型更积极、更诚实或谈论特定话题,无需微调。反过来,把“拒绝”方向从权重里投影掉(俗称 abliteration),模型就不再拒答——这也说明仅靠微调式安全对齐很容易被移除。

用在哪里:行为控制与安全研究;社区据“拒绝方向”制作去审查(abliterated)开源模型,2026-10 德国 t3n 报道了其安全风险

时间轴 · 前置 → 当前 → 后继

2020 Logit Lens 与探针2023 激活引导

01原始论文

Steering Language Models With Activation Engineering

Alexander Matt Turner, Lisa Thiergart, Gavin Leech, et al. · 2023

arXiv ↗ ✓ 已核实 · arXiv API

备注:拒绝方向与“消融”:Arditi 等,Refusal in Language Models Is Mediated by a Single Direction,arXiv:2406.11717(2024-06,DataCite 核实)

02知识位置

左边先学;右边是学完它之后可以学的。

先学

激活引导

学完可以学

  • 图谱里暂无后继

相关:稀疏自编码器 SAE知识定位与编辑 ROME

Logit Lens 与探针稀疏自编码器 SAE知识定位与编辑 ROME 激活引导

左:前置 · 右:后继 · 虚线:相关。看完整关系图 →

03学习资料

官方文档、图解、课程和参考实现,链接都核对过。

04在课程里哪里学

所在学习路线:生成式与前沿研究

给 AI 读 / 数据说明

数据更新于:AI 算法图谱与课程体系(北京时间)