01学习目标
- 部署 vLLM/SGLang 并压测
- 理解吞吐与延迟指标（TTFT、TPOT）
- 了解推测解码与前缀缓存的收益
建议先学：解码、采样与 KV Cache
02要掌握的算法
每张卡都有原始论文、前置和学习资料。
PagedAttention（vLLM）PagedAttention (vLLM) 像操作系统分页一样管理 KV Cache，减少显存浪费。 2023核心 连续批处理Continuous (Iteration-Level) Batching 每生成一步就重新组批，完成的请求立即让位给新请求。 2022核心 RadixAttention 前缀缓存RadixAttention (Prefix Caching) 用基数树自动复用不同请求间相同前缀的 KV Cache。 2023扩展 推测解码Speculative Decoding 小模型先猜几个 token，大模型一次性验证，输出分布不变。 2022核心 Medusa 多解码头Medusa 在模型上加几个额外的解码头，自己给自己做推测解码。 2024扩展 EAGLE 在特征层面而非 token 层面做推测，接受率更高。 2024核心 预填充/解码分离Prefill–Decode Disaggregation 把“读提示”和“逐字生成”放到不同 GPU 上分别优化。 2024扩展
03必读论文
- Efficient Memory Management for Large Language Model Serving with PagedAttention ↗2023 ✓ 已核实 在必读经典里
- Fast Inference from Transformers via Speculative Decoding ↗2022 ✓ 已核实 在必读经典里
- SGLang: Efficient Execution of Structured Language Model Programs ↗2023 ✓ 已核实
- DistServe: Disaggregating Prefill and Decoding for Goodput-optimized Large Language Model Serving ↗2024 ✓ 已核实
04课程与视频
- vLLM 文档 ↗官方文档EN
- sgl-project/sglang ↗参考实现EN
- Hugging Face 博客：Assisted Generation ↗博客图解EN
05动手：项目、代码与练习
全部是官方或作者公开的免费页面，多数能在浏览器或免费 Colab 里直接运行。
动手项目
用 vLLM 部署一个开源模型，压测不同并发下的吞吐与首 token 延迟，再开启推测解码对比。
- 1
- 2
06自测题
先自己想，再点开看答案。
TTFT 指什么？
首个 token 延迟。
推测解码会改变输出分布吗？
按标准拒绝采样实现时不会。
PagedAttention 解决的核心问题？
KV Cache 显存碎片与浪费。