Skip to content
简体中文

切换主题

发现▾

不知道从哪开始？本周最热的软件、模型和组合，3 分钟看完 AI 圈的变化。

AI 软件▾

给人用的 AI 软件：从 ChatGPT 这类助手，到写代码、做视频、搭工作流的工具，按用途挑。

Agent 工具▾

给 AI 用的软件：让你的 agent（Claude Code、Codex、Cursor…）能上网、读文档、跑代码、记住事情。

模型▾

选模型、算成本、自己部署：价格、榜单、评测、免费额度和自建算力都在这里。

解决方案▾

有具体目标或报错？按场景给出现成的软件组合、步骤和问题解法。

学 AI▾

一套从零到前沿的系统课程，配算法库、必读论文和精选教程。

前沿▾

每天的 AI 新闻、每周热点、最新论文和 AI 改造各学科的进度。

// 阶段 5 · 训练、对齐与推理模型

指令微调与参数高效微调

SFT、合成数据、LoRA/QLoRA/DoRA、适配器、模型合并。

读正文 → 代码与练习 ↓

约 10 小时8 个算法3 篇论文已有正文

01学习目标

建议先学：预训练、数据与缩放定律

02站内正文

03要掌握的算法

每张卡都有原始论文、前置和学习资料。

指令微调（FLAN）Instruction Tuning (FLAN) 用大量“指令→回答”数据微调，让模型能零样本听懂新任务。 2021核心 Self-Instruct 合成指令Self-Instruct 让模型自己生成指令数据，再用来微调自己。 2022核心 Adapter 适配器Adapters 在冻结的模型层间插入小模块，只训练这些小模块。 2019核心 前缀/提示微调Prefix & Prompt Tuning 只学习一段加在输入前的“软提示”向量。 2021扩展 LoRA 低秩适配LoRA (Low-Rank Adaptation) 冻结原模型，只训练两个很小的低秩矩阵来表示权重变化。 2021核心 QLoRA 把基座量化到 4 位再训练 LoRA，单张消费级显卡也能微调大模型。 2023核心 DoRADoRA (Weight-Decomposed LoRA) 把权重拆成“大小”和“方向”，只用 LoRA 更新方向。 2024扩展 模型合并与任务算术Model Merging & Task Arithmetic 把多个微调模型的权重直接加减平均，组合它们的能力。 2022核心

04必读论文

05课程与视频

06动手：项目、代码与练习

全部是官方或作者公开的免费页面，多数能在浏览器或免费 Colab 里直接运行。

动手项目

用 QLoRA 在单卡上把开源 7B/8B 模型微调成特定风格（如客服话术），并做盲测对比。

  1. 1
    unslothai/unsloth ↗参考实现

    用官方免费 Colab Notebook 对小模型做 LoRA/QLoRA 微调。

  2. 2
    Hugging Face TRL：SFT Trainer ↗官方文档

    用 TRL 的 SFTTrainer 跑一次指令微调。

  3. 3
    hiyouga/LlamaFactory（低代码微调） ↗参考实现

    用图形界面零代码微调，并导出合并后的权重。

07自测题

先自己想，再点开看答案。

LoRA 训练的参数是什么？

低秩矩阵 A、B，原权重冻结。

QLoRA 用了哪种 4 位格式？

NF4。

什么时候不该微调而该用 RAG？

知识频繁更新或需要引用来源时。

所在人群路线：应用开发者 · 算法研究者 · 各学科研究者

数据更新于：AI 算法图谱与课程体系（北京时间）