本类时间线
01核心算法
先学这些，按年份排列。
知识蒸馏Knowledge Distillation 让小模型学习大模型输出的“软概率”。 2015核心 LLM.int8() 与离群值LLM.int8() & Outlier Handling 8 位矩阵乘法，把少数“离群”特征单独用 16 位算。 2022核心 GPTQ 训练后量化GPTQ 利用二阶信息逐列量化权重，几小时把大模型压到 3–4 位。 2022核心 SmoothQuant 把激活里的量化难度“搬”到权重上，实现 W8A8。 2022核心 AWQ 激活感知量化AWQ (Activation-aware Weight Quantization) 根据激活大小找出最重要的 1% 权重并加以保护。 2023核心 BitNet b1.58 三值模型BitNet b1.58 (Ternary LLMs) 每个权重只取 −1、0、+1，从训练开始就是 1.58 位。 2024核心
02扩展
核心学懂之后值得了解的变体和后续工作。