大模型如何生成文本：解码、温度、KV Cache 与量化

两个阶段：预填充与解码

你发出提示后，推理引擎要做两种不同的工作：

1. 预填充（prefill）：整段提示一次性并行通过模型。计算量大，但摊到每个 token 很快，决定了首个 token 的等待时间。
2. 解码（decode）：模型一次生成一个 token：跑一遍网络，得到下一个 token 的概率，选一个，接上去，再重复（见 大模型是什么）。这决定了每秒生成多少 token。

sequenceDiagram
  participant U as 用户
  participant E as 推理引擎
  participant M as 模型权重
  U->>E: 提示（1000 个 token）
  E->>M: 预填充：并行处理全部提示 token
  M-->>E: 每一层的键和值 → KV Cache
  loop 每个新 token
    E->>M: 解码：1 个新 token + KV Cache
    M-->>E: 下一个 token 的概率
    E->>E: 采样，并把新的 K/V 存进缓存
  end
  E-->>U: 流式输出回答

怎么选下一个 token：采样

模型给词表里每个 token 都算出一个概率，怎么从中挑选很关键：

• 贪心：永远选最可能的那个。结果确定，但容易重复。
• 温度：在 softmax 之前把分数（logits）除以温度 T。T < 1 让分布更尖（更稳），*T* > 1 让分布更平（更多样）。
• top-k / top-p：只在最可能的 k 个 token 里采样，或者在概率加起来达到 p 的最小集合里采样（nucleus 采样，Holtzman 等，2019），砍掉长尾里的胡言乱语。

写代码、做信息抽取、跑 Agent 时通常用低温度；头脑风暴和写小说用高一些。即使温度设为 0，云端 API 的输出也不一定每次逐字相同，因为批处理和浮点运算顺序会变化。

KV Cache

在注意力计算中，每个新 token 都需要前面所有 token 的键和值（见 Transformer 与注意力机制）。每一步都重算会让生成速度按平方变慢，所以引擎把它们存进 KV Cache，只为新 token 计算 K 和 V。

缓存要占内存：2 × 层数 × KV 头数 × 每头维度 × 字节数 × token 数。以 Llama 3 8B 为例（32 层、8 个 KV 头、每头 128 维、16 位），每个 token 约 128 KB，8000 个 token 的上下文约 1 GB，而且是每个对话各占一份。分组查询注意力（Ainslie 等，2023）让多个头共享 K/V，很大程度上就是为了压缩这块缓存。

为什么生成速度受内存限制

每生成一个 token，硬件都要把全部权重从内存读一遍。8B 模型 16 位精度是 16 GB；如果内存带宽是 400 GB/s，单路生成速度上限就在每秒 25 个 token 左右，跟芯片算力有多强关系不大。所以主要的提速手段是：

量化：让大模型跑在小机器上

训练通常用 16 位或 32 位数字。量化在训练后用更少的位数存权重，例如 LLM.int8()（Dettmers 等，2022）和 GPTQ（Frantar 等，2022）。llama.cpp 项目推广了 GGUF 文件格式和多种量化类型（名字像 Q4_K_M、Q8_0）。

权重大小的经验值（不含 KV Cache 和运行时开销）：

8 位的质量损失通常可以忽略；好的 4 位量化是本地使用最常见的平衡点；再往下，质量下降会加快。

自己动手

• Ollama 和 LM Studio 会下载量化好的模型，并显示每秒 token 数。
• llama.cpp 开放了所有参数：量化类型、上下文长度、KV Cache 类型、批大小和投机解码。
• 在苹果芯片上，MLX LM 利用统一内存运行和量化模型。

下一步：推理引擎 和 在自己电脑上运行大模型（编写中），硬件方面见 GPU、显存与算力。

算法卡片

必读论文

1. The Curious Case of Neural Text Degeneration（2019）——解释为什么贪心解码会重复、提出 top-p（核采样）。arXiv:1904.09751
2. Efficient Streaming Language Models with Attention Sinks（2023）——KV Cache 不能无限长时，保留“汇聚点”token 就能稳定流式生成。arXiv:2309.17453

动手项目（约 6 学时）

给自己训练的小 GPT（例如上一课的 nanoGPT）加上 KV Cache，分别测量生成 1000 个 token 的耗时，算出提速倍数；再按下面自测第 1 题的公式估算一个 7B 模型在 32K 上下文下的 KV Cache 大小。推荐配合阅读 Lilian Weng 的 Large Transformer Model Inference Optimization；调采样参数可对照 Hugging Face 生成策略文档，看工业级推理引擎怎么管理 KV Cache 可读 vLLM 文档。

自测