Skip to content
简体中文

切换主题

发现▾

不知道从哪开始？本周最热的软件、模型和组合，3 分钟看完 AI 圈的变化。

AI 软件▾

给人用的 AI 软件：从 ChatGPT 这类助手，到写代码、做视频、搭工作流的工具，按用途挑。

Agent 工具▾

给 AI 用的软件：让你的 agent（Claude Code、Codex、Cursor…）能上网、读文档、跑代码、记住事情。

模型▾

选模型、算成本、自己部署：价格、榜单、评测、免费额度和自建算力都在这里。

解决方案▾

有具体目标或报错？按场景给出现成的软件组合、步骤和问题解法。

学 AI▾

一套从零到前沿的系统课程，配算法库、必读论文和精选教程。

前沿▾

每天的 AI 新闻、每周热点、最新论文和 AI 改造各学科的进度。

// 阶段 6 · 推理部署与效率

解码、采样与 KV Cache

预填充与解码、温度/top-p、KV Cache、内存带宽瓶颈。

读正文 → 代码与练习 ↓

约 6 小时4 个算法2 篇论文已有正文

01学习目标

建议先学：现代 LLM 架构：位置编码、GQA/MLA 与长上下文

02站内正文

03要掌握的算法

每张卡都有原始论文、前置和学习资料。

温度与 Top-p 采样Temperature & Nucleus (Top-p) Sampling 控制生成随机性：只从累计概率达到 p 的候选里抽样。 2019核心 KV Cache 把已生成 token 的 Key/Value 存起来，避免每步重复计算。 核心 注意力汇聚点 StreamingLLMAttention Sinks (StreamingLLM) 保留开头几个“汇聚”token 的 KV，就能无限长流式生成。 2023扩展 分组查询注意力 GQAGrouped-Query Attention (GQA) 把注意力头分组，每组共享一份 K/V，在 MHA 与 MQA 间折中。 2023核心

04必读论文

05课程与视频

06动手：项目、代码与练习

全部是官方或作者公开的免费页面，多数能在浏览器或免费 Colab 里直接运行。

动手项目

给自己的小 GPT 加上 KV Cache，测量生成 1000 token 的提速倍数。

  1. 1
    Hugging Face Transformers：生成策略（贪心、束搜索、采样、推测解码） ↗官方文档

    用同一个模型对比贪心、束搜索、top-p 采样和推测解码的输出与速度。

  2. 2
    karpathy/nanoGPT（参考实现） ↗参考实现

    给 nanoGPT 的生成函数加上 KV 缓存，测量提速。

07自测题

先自己想，再点开看答案。

KV Cache 大小与哪些量成正比？

层数×KV 头数×头维度×序列长度×batch×2。

top-p=0.9 是什么意思？

只在累计概率达 90% 的最小候选集中采样。

为何解码阶段 GPU 算力利用率低？

每步只算一个 token，主要时间在读权重和缓存。

所在人群路线：应用开发者

数据更新于：AI 算法图谱与课程体系（北京时间）