Skip to content
简体中文

切换主题

// ⚙ 微调与参数高效训练

Adapter 适配器

在冻结的模型层间插入小模块,只训练这些小模块。

Adapters 2019 基础 核心

通俗解释

每个 Transformer 层里插入一个“降维-非线性-升维”的瓶颈小网络,只训练它,参数量约为原模型的几个百分点,就接近全量微调效果。参数高效微调(PEFT)由此兴起。

用在哪里:多任务模型适配

时间轴 · 前置 → 当前 → 后继

2018 BERT2019 Adapter 适配器2021 前缀/提示微调2021 LoRA 低秩适配

01原始论文

Parameter-Efficient Transfer Learning for NLP

Neil Houlsby, Andrei Giurgiu, Stanislaw Jastrzebski, et al. · 2019

arXiv ↗ ✓ 已核实 · arXiv API

02知识位置

左边先学;右边是学完它之后可以学的。

先学

Adapter 适配器

学完可以学

BERT前缀/提示微调LoRA 低秩适配 Adapter 适配器

左:前置 · 右:后继 · 虚线:相关。看完整关系图 →

03学习资料

官方文档、图解、课程和参考实现,链接都核对过。

04在课程里哪里学

给 AI 读 / 数据说明

数据更新于:AI 算法图谱与课程体系(北京时间)