通俗解释
直觉:模型内部的某些“方向”对应某种行为。用两组对比提示(如“爱”与“恨”)的激活差得到引导向量,推理时加到某层,就能让模型更积极、更诚实或谈论特定话题,无需微调。反过来,把“拒绝”方向从权重里投影掉(俗称 abliteration),模型就不再拒答——这也说明仅靠微调式安全对齐很容易被移除。
用在哪里:行为控制与安全研究;社区据“拒绝方向”制作去审查(abliterated)开源模型,2026-10 德国 t3n 报道了其安全风险
01原始论文
Steering Language Models With Activation Engineering
Alexander Matt Turner, Lisa Thiergart, Gavin Leech, et al. · 2023
arXiv ↗ ✓ 已核实 · arXiv API
备注:拒绝方向与“消融”:Arditi 等,Refusal in Language Models Is Mediated by a Single Direction,arXiv:2406.11717(2024-06,DataCite 核实)
02知识位置
左边先学;右边是学完它之后可以学的。
左:前置 · 右:后继 · 虚线:相关。看完整关系图 →
03学习资料
官方文档、图解、课程和参考实现,链接都核对过。
04在课程里哪里学
所在学习路线:生成式与前沿研究
给 AI 读 / 数据说明
- 核实状态:已核实,核对于 2026-10-22。
- JSON: /api/learn/algorithms.json (id:
activation-steering)