本类时间线
01核心算法
先学这些,按年份排列。
Adapter 适配器Adapters 在冻结的模型层间插入小模块,只训练这些小模块。 2019核心 指令微调(FLAN)Instruction Tuning (FLAN) 用大量“指令→回答”数据微调,让模型能零样本听懂新任务。 2021核心 LoRA 低秩适配LoRA (Low-Rank Adaptation) 冻结原模型,只训练两个很小的低秩矩阵来表示权重变化。 2021核心 Self-Instruct 合成指令Self-Instruct 让模型自己生成指令数据,再用来微调自己。 2022核心 模型合并与任务算术Model Merging & Task Arithmetic 把多个微调模型的权重直接加减平均,组合它们的能力。 2022核心 QLoRA 把基座量化到 4 位再训练 LoRA,单张消费级显卡也能微调大模型。 2023核心
02扩展
核心学懂之后值得了解的变体和后续工作。