01学习目标
- 比较训练后量化方法
- 会用 GGUF/AWQ/GPTQ 权重
- 理解蒸馏与合成数据
建议先学：解码、采样与 KV Cache
02要掌握的算法
每张卡都有原始论文、前置和学习资料。
LLM.int8() 与离群值LLM.int8() & Outlier Handling 8 位矩阵乘法，把少数“离群”特征单独用 16 位算。 2022核心 GPTQ 训练后量化GPTQ 利用二阶信息逐列量化权重，几小时把大模型压到 3–4 位。 2022核心 AWQ 激活感知量化AWQ (Activation-aware Weight Quantization) 根据激活大小找出最重要的 1% 权重并加以保护。 2023核心 SmoothQuant 把激活里的量化难度“搬”到权重上，实现 W8A8。 2022核心 SparseGPT 一次性剪枝SparseGPT 不重新训练就把大模型一半权重剪掉。 2023扩展 BitNet b1.58 三值模型BitNet b1.58 (Ternary LLMs) 每个权重只取 −1、0、+1，从训练开始就是 1.58 位。 2024核心 知识蒸馏Knowledge Distillation 让小模型学习大模型输出的“软概率”。 2015核心
03必读论文
- LLM.int8(): 8-bit Matrix Multiplication for Transformers at Scale ↗2022 ✓ 已核实
- GPTQ: Accurate Post-Training Quantization for Generative Pre-trained Transformers ↗2022 ✓ 已核实 在必读经典里
- AWQ: Activation-aware Weight Quantization for LLM Compression and Acceleration ↗2023 ✓ 已核实
- Distilling the Knowledge in a Neural Network ↗2015 ✓ 已核实 在必读经典里
04课程与视频
05动手：项目、代码与练习
全部是官方或作者公开的免费页面，多数能在浏览器或免费 Colab 里直接运行。
动手项目
把同一 7B 模型分别量化为 8/4/3 位，测困惑度、速度和显存，画出权衡图。
- 1
- 2
- 3
06自测题
先自己想，再点开看答案。
权重量化与激活量化哪个更难？
激活更难，因为存在离群值。
AWQ 保护哪些权重？
对应大激活通道的显著权重。
蒸馏中“软标签”包含什么信息？
错误类别之间的相对相似度。
所在人群路线：算法研究者