通俗解释
从单个字符（或字节）开始，统计哪两个相邻符号最常一起出现就合并成新 token，直到词表够大。这样既能表示任意新词，又不会让序列太长；GPT、Llama 的分词器都基于它。
用在哪里：GPT 系列 tiktoken、Llama、Qwen 分词器
01原始论文
Neural Machine Translation of Rare Words with Subword Units
Rico Sennrich, Barry Haddow, Alexandra Birch · 2015
arXiv ↗ ✓ 已核实 · arXiv API
02知识位置
左边先学；右边是学完它之后可以学的。
相关：Word2Vec 词向量Transformer 与自注意力
左：前置 · 右：后继 · 虚线：相关。看完整关系图 →
03学习资料
官方文档、图解、课程和参考实现，链接都核对过。
04在课程里哪里学
所在学习路线：从零理解一个大模型
给 AI 读 / 数据说明
- 核实状态：已核实，核对于 2026-10-21。
- JSON: /api/learn/algorithms.json (id:
bpe)