通俗解释
大模型解码受显存带宽限制、算力闲置。让小模型快速草拟 k 个 token，大模型并行验证并按特殊规则接受或拒绝，结果与只用大模型完全同分布，速度可提升 2–3 倍。
用在哪里：vLLM、SGLang、TensorRT-LLM、llama.cpp；2026-10 的 DLite（arXiv 2610.23787）针对上下文不断增长的智能体任务做“无历史”草稿
01原始论文
Fast Inference from Transformers via Speculative Decoding
Yaniv Leviathan, Matan Kalman, Yossi Matias · 2022
arXiv ↗ ✓ 已核实 · arXiv API
备注：DeepMind 同期独立提出 Speculative Sampling（arXiv:2302.01318）
02知识位置
左边先学；右边是学完它之后可以学的。
相关：多 token 预测
左：前置 · 右：后继 · 虚线：相关。看完整关系图 →
03学习资料
官方文档、图解、课程和参考实现，链接都核对过。
04在课程里哪里学
U62 推理引擎与服务 PagedAttention、连续批处理、前缀缓存、推测解码、PD 分离与网关路由。 8 小时7 个算法4 篇论文 U83 AI 应用工程：评测、成本与上线 自建评测集、LLM 评委、可观测性、模型网关、成本控制、产品设计。 8 小时3 个算法1 篇论文
所在学习路线：AI 应用工程师
给 AI 读 / 数据说明
- 核实状态：已核实，核对于 2026-10-22。
- JSON: /api/learn/algorithms.json (id:
speculative-decoding)