Skip to content
简体中文

切换主题

// ⚙ 微调与参数高效训练

QLoRA

把基座量化到 4 位再训练 LoRA,单张消费级显卡也能微调大模型。

2023 进阶 核心

通俗解释

提出 NF4 数据类型、双重量化和分页优化器,把 65B 模型的微调显存压到单张 48GB 卡,效果接近 16 位全量微调。

用在哪里:个人与小团队微调(Unsloth、Axolotl 等)

时间轴 · 前置 → 当前 → 后继

2021 LoRA 低秩适配2022 LLM.int8() 与离…2023 QLoRA

01原始论文

QLoRA: Efficient Finetuning of Quantized LLMs

Tim Dettmers, Artidoro Pagnoni, Ari Holtzman, et al. · 2023

arXiv ↗ ✓ 已核实 · arXiv API

02知识位置

左边先学;右边是学完它之后可以学的。

先学

QLoRA

学完可以学

  • 图谱里暂无后继

相关:GPTQ 训练后量化

LoRA 低秩适配LLM.int8() 与离群值GPTQ 训练后量化 QLoRA

左:前置 · 右:后继 · 虚线:相关。看完整关系图 →

03学习资料

官方文档、图解、课程和参考实现,链接都核对过。

04在课程里哪里学

所在学习路线:后训练与推理模型

给 AI 读 / 数据说明

数据更新于:AI 算法图谱与课程体系(北京时间)