// 课程 · 第 6 阶段（共 9 阶）
推理部署与效率
解码与 KV Cache、量化与蒸馏、推理引擎、本地部署、GPU 与分布式训练。
5 个单元约 36 小时24 个算法
01本阶段单元
按顺序学。每个单元都有学习目标、要掌握的算法、必读论文、动手项目和自测题。
01 · U60 解码、采样与 KV Cache 预填充与解码、温度/top-p、KV Cache、内存带宽瓶颈。 6 小时4 个算法2 篇论文已有正文 02 · U61 量化、剪枝与蒸馏 INT8/INT4、GPTQ、AWQ、SmoothQuant、BitNet、知识蒸馏。 8 小时7 个算法4 篇论文 03 · U62 推理引擎与服务 PagedAttention、连续批处理、前缀缓存、推测解码、PD 分离与网关路由。 8 小时7 个算法4 篇论文 04 · U63 在本地运行大模型 llama.cpp、Ollama、MLX、显存估算与选型。 4 小时3 个算法0 篇论文 05 · U64 GPU、分布式训练与 AI 芯片 显存/带宽/算力、混合精度、数据/张量/流水线并行、ZeRO/FSDP、芯片格局。 10 小时6 个算法4 篇论文
02会学到的算法
算法图谱 →温度与 Top-p 采样KV Cache注意力汇聚点 StreamingLLM分组查询注意力 GQALLM.int8() 与离群值GPTQ 训练后量化AWQ 激活感知量化SmoothQuantSparseGPT 一次性剪枝BitNet b1.58 三值模型知识蒸馏PagedAttention（vLLM）连续批处理RadixAttention 前缀缓存推测解码Medusa 多解码头EAGLE预填充/解码分离混合精度与 FP8 训练ZeRO / FSDP 数据并行张量并行（Megatron）流水线并行环形注意力 Ring AttentionGShard 专家并行