第 3 阶段 · 工程实战
推理与部署
模型如何又快又省地生成文本：从 KV Cache 到本地运行与模型网关。
4 节课1 节可读
- 01 大模型如何生成文本：解码、KV Cache 与量化 采样、温度、KV Cache、批处理与量化，一课讲清。 进阶 20 分钟 ✓
- 02 推理引擎：vLLM、llama.cpp 等 PagedAttention、连续批处理，以及按硬件选引擎。 高级 20 分钟 ✎ 编写中
- 03 在自己电脑上运行大模型 显存估算、量化模型，以及私密离线使用的桌面软件。 进阶 15 分钟 ✎ 编写中
- 04 模型网关、路由与成本控制 一个接口调用多家模型：回退、缓存、限流与花费追踪。 高级 15 分钟 ✎ 编写中
在新版课程里对应的单元
每个单元都有学习目标、要掌握的算法、必读论文、动手项目和自测题。