// ⌕ 算法图谱

RAG 与向量检索

嵌入、向量索引、稠密检索、重排与 GraphRAG：给大模型接上外部知识。

10 个核心3 个扩展2009–2024

本类时间线

2009 BM25 关键词检索2011 乘积量化 PQ2016 HNSW 图索引2017 FAISS GPU 相似度搜2018 对比学习与 InfoNCE2019 句向量（Sentence-B2019 交叉编码器重排（BERT R2020 稠密段落检索 DPR2020 ColBERT 后期交互2020 检索增强生成 RAG2022 套娃表示学习2022 HyDE 假设文档检索2024 GraphRAG

01核心算法

先学这些，按年份排列。

BM25 关键词检索BM25 按词频与稀有度给文档打分的经典关键词检索。 2009核心乘积量化 PQProduct Quantization (PQ) 把向量切段、每段用小码本编码，压缩几十倍还能快速算距离。 2011核心 HNSW 图索引HNSW (Hierarchical Navigable Small World) 多层“小世界”图结构，实现亿级向量的毫秒级近似最近邻搜索。 2016核心对比学习与 InfoNCEContrastive Learning (InfoNCE) 拉近正样本对、推远负样本，学到好的嵌入。 2018核心句向量（Sentence-BERT）Sentence Embeddings (Sentence-BERT) 把整句话编码成一个向量，用余弦相似度比较语义。 2019核心交叉编码器重排（BERT Reranker）Cross-Encoder Reranking 把查询和文档拼在一起送进 BERT 打相关分，给初筛结果重新排序。 2019核心稠密段落检索 DPRDense Passage Retrieval (DPR) 用双塔编码器把问题和段落映射到同一空间进行检索。 2020核心 ColBERT 后期交互ColBERT (Late Interaction) 保留每个词的向量，在检索时做细粒度匹配，兼顾精度与速度。 2020核心检索增强生成 RAGRetrieval-Augmented Generation (RAG) 先检索相关文档，再让模型基于这些资料作答。 2020核心 GraphRAG 先从文档构建知识图谱和社区摘要，再回答全局性问题。 2024核心

02扩展

核心学懂之后值得了解的变体和后续工作。

FAISS GPU 相似度搜索FAISS (Billion-scale GPU Similarity Search) Meta 开源的十亿级向量检索库及其 GPU 算法。 2017扩展套娃表示学习Matryoshka Representation Learning 一个向量的前几维本身就是可用的小向量，可按需截断。 2022扩展 HyDE 假设文档检索HyDE (Hypothetical Document Embeddings) 先让模型写一个“假想答案”，再用它去检索真实文档。 2022扩展

03哪些课程单元在讲

U02 幻觉、可靠性与使用边界理解模型为什么会一本正经地编造，以及如何核查与降低风险。 2 小时2 个算法1 篇论文 U40 分词与嵌入 BPE 分词、token 计费、嵌入向量与语义相似度。 6 小时6 个算法2 篇论文已有正文 U70 视觉 Transformer 与自监督视觉 ViT、SimCLR、MAE、JEPA、SAM。 8 小时12 个算法4 篇论文 U80 嵌入、向量检索与重排 BM25、句向量、DPR、ColBERT、HNSW、PQ、混合检索。 8 小时10 个算法4 篇论文 U81 RAG 系统工程与评估切分、查询改写、HyDE、GraphRAG、引用、评估指标。 8 小时4 个算法3 篇论文已有正文