通俗解释
微调时权重变化 ΔW 被写成两个瘦矩阵 B×A(秩 r 很小),参数可减少上万倍;推理时可合并回原权重、无额外延迟。它是当今最流行的微调方法。
用在哪里:Stable Diffusion 风格 LoRA、开源模型定制
01原始论文
LoRA: Low-Rank Adaptation of Large Language Models
Edward J. Hu, Yelong Shen, Phillip Wallis, et al. · 2021
arXiv ↗ ✓ 已核实 · arXiv API
02知识位置
左边先学;右边是学完它之后可以学的。
左:前置 · 右:后继 · 虚线:相关。看完整关系图 →
03学习资料
官方文档、图解、课程和参考实现,链接都核对过。
04在课程里哪里学
U11 线性代数:向量、矩阵与分解 理解向量空间、矩阵乘法、特征值与 SVD——嵌入、注意力和 LoRA 的语言。 15 小时2 个算法0 篇论文 U50 指令微调与参数高效微调 SFT、合成数据、LoRA/QLoRA/DoRA、适配器、模型合并。 10 小时8 个算法3 篇论文已有正文
所在学习路线:后训练与推理模型
给 AI 读 / 数据说明
- 核实状态:已核实,核对于 2026-10-21。
- JSON: /api/learn/algorithms.json (id:
lora)