// ⚡ 算法图谱
推理加速与服务
KV Cache、推测解码、PagedAttention、连续批处理等让大模型服务又快又便宜的技术。
6 个核心4 个扩展2019–2024
本类时间线
01核心算法
先学这些，按年份排列。
温度与 Top-p 采样Temperature & Nucleus (Top-p) Sampling 控制生成随机性：只从累计概率达到 p 的候选里抽样。 2019核心 推测解码Speculative Decoding 小模型先猜几个 token，大模型一次性验证，输出分布不变。 2022核心 连续批处理Continuous (Iteration-Level) Batching 每生成一步就重新组批，完成的请求立即让位给新请求。 2022核心 PagedAttention（vLLM）PagedAttention (vLLM) 像操作系统分页一样管理 KV Cache，减少显存浪费。 2023核心 EAGLE 在特征层面而非 token 层面做推测，接受率更高。 2024核心 KV Cache 把已生成 token 的 Key/Value 存起来，避免每步重复计算。 核心
02扩展
核心学懂之后值得了解的变体和后续工作。
RadixAttention 前缀缓存RadixAttention (Prefix Caching) 用基数树自动复用不同请求间相同前缀的 KV Cache。 2023扩展 注意力汇聚点 StreamingLLMAttention Sinks (StreamingLLM) 保留开头几个“汇聚”token 的 KV，就能无限长流式生成。 2023扩展 Medusa 多解码头Medusa 在模型上加几个额外的解码头，自己给自己做推测解码。 2024扩展 预填充/解码分离Prefill–Decode Disaggregation 把“读提示”和“逐字生成”放到不同 GPU 上分别优化。 2024扩展
03哪些课程单元在讲
U02 幻觉、可靠性与使用边界 理解模型为什么会一本正经地编造，以及如何核查与降低风险。 2 小时2 个算法1 篇论文 U60 解码、采样与 KV Cache 预填充与解码、温度/top-p、KV Cache、内存带宽瓶颈。 6 小时4 个算法2 篇论文已有正文 U62 推理引擎与服务 PagedAttention、连续批处理、前缀缓存、推测解码、PD 分离与网关路由。 8 小时7 个算法4 篇论文 U63 在本地运行大模型 llama.cpp、Ollama、MLX、显存估算与选型。 4 小时3 个算法0 篇论文 U83 AI 应用工程：评测、成本与上线 自建评测集、LLM 评委、可观测性、模型网关、成本控制、产品设计。 8 小时3 个算法1 篇论文