Skip to content
简体中文

切换主题

// ⚙ 微调与参数高效训练

LoRA 低秩适配

冻结原模型,只训练两个很小的低秩矩阵来表示权重变化。

LoRA (Low-Rank Adaptation) 2021 基础 核心

通俗解释

微调时权重变化 ΔW 被写成两个瘦矩阵 B×A(秩 r 很小),参数可减少上万倍;推理时可合并回原权重、无额外延迟。它是当今最流行的微调方法。

用在哪里:Stable Diffusion 风格 LoRA、开源模型定制

时间轴 · 前置 → 当前 → 后继

1901 主成分分析2019 Adapter 适配器2021 LoRA 低秩适配2022 模型合并与任务算术2023 QLoRA2024 DoRA

01原始论文

LoRA: Low-Rank Adaptation of Large Language Models

Edward J. Hu, Yelong Shen, Phillip Wallis, et al. · 2021

arXiv ↗ ✓ 已核实 · arXiv API

02知识位置

左边先学;右边是学完它之后可以学的。

主成分分析Adapter 适配器QLoRADoRA模型合并与任务算术 LoRA 低秩适配

左:前置 · 右:后继 · 虚线:相关。看完整关系图 →

03学习资料

官方文档、图解、课程和参考实现,链接都核对过。

04在课程里哪里学

所在学习路线:后训练与推理模型

给 AI 读 / 数据说明

数据更新于:AI 算法图谱与课程体系(北京时间)