通俗解释
老师模型的输出不只告诉正确答案，还包含“哪些错误答案也有点像”的信息，学生模仿这些软标签，能以更小的体积接近老师。现在常见的做法还有两种：用大模型生成的数据训练小模型；以及“在线蒸馏”（on-policy distillation）——让学生自己生成回答，再由老师逐 token 打分纠正，避免学生只学老师写过、自己却走不到的路径。
用在哪里：DistilBERT、R1 蒸馏小模型、端侧模型；在线蒸馏用于推理模型后训练（如 2026-10 的 CriticOPD，arXiv 2610.20572）
01原始论文
Distilling the Knowledge in a Neural Network
Geoffrey Hinton, Oriol Vinyals, Jeff Dean · 2015
arXiv ↗ ✓ 已核实 · arXiv API
备注：在线蒸馏 GKD：Agarwal 等，arXiv:2306.13649（2023，DataCite 核实）
02知识位置
左边先学；右边是学完它之后可以学的。
相关：DeepSeek-R1 推理强化学习配方Self-Instruct 合成指令
左：前置 · 右：后继 · 虚线：相关。看完整关系图 →
03学习资料
官方文档、图解、课程和参考实现，链接都核对过。
04在课程里哪里学
给 AI 读 / 数据说明
- 核实状态：已核实，核对于 2026-10-21。
- JSON: /api/learn/algorithms.json (id:
knowledge-distillation)