AI 应用工程师

每一步都以上一步为基础。点卡片看论文和资料。

1. 检索基础

   5 个算法

   BM25 关键词检索BM25 按词频与稀有度给文档打分的经典关键词检索。 2009核心 句向量（Sentence-BERT）Sentence Embeddings (Sentence-BERT) 把整句话编码成一个向量，用余弦相似度比较语义。 2019核心 稠密段落检索 DPRDense Passage Retrieval (DPR) 用双塔编码器把问题和段落映射到同一空间进行检索。 2020核心 HNSW 图索引HNSW (Hierarchical Navigable Small World) 多层“小世界”图结构，实现亿级向量的毫秒级近似最近邻搜索。 2016核心 乘积量化 PQProduct Quantization (PQ) 把向量切段、每段用小码本编码，压缩几十倍还能快速算距离。 2011核心

2. RAG

   4 个算法

   检索增强生成 RAGRetrieval-Augmented Generation (RAG) 先检索相关文档，再让模型基于这些资料作答。 2020核心 HyDE 假设文档检索HyDE (Hypothetical Document Embeddings) 先让模型写一个“假想答案”，再用它去检索真实文档。 2022扩展 ColBERT 后期交互ColBERT (Late Interaction) 保留每个词的向量，在检索时做细粒度匹配，兼顾精度与速度。 2020核心 GraphRAG 先从文档构建知识图谱和社区摘要，再回答全局性问题。 2024核心

3. Agent

   5 个算法

   ReAct 推理-行动循环ReAct (Reason + Act) 让模型交替“想一步、做一步、看结果”。 2022核心 函数调用 / 工具调用Function Calling / Tool Use 模型按 JSON Schema 输出结构化的函数调用参数。 2023核心 模型上下文协议 MCPModel Context Protocol (MCP) 连接 AI 应用与外部工具/数据源的开放标准协议。 2024核心 Reflexion 语言反思Reflexion 失败后用文字写下反思，存进记忆，下次尝试时参考。 2023核心 Agent-计算机接口（SWE-agent）Agent–Computer Interface (SWE-agent) 为大模型专门设计的命令行工具界面，显著提升自动修 bug 能力。 2024核心

4. 上线

   6 个算法

   PagedAttention（vLLM）PagedAttention (vLLM) 像操作系统分页一样管理 KV Cache，减少显存浪费。 2023核心 连续批处理Continuous (Iteration-Level) Batching 每生成一步就重新组批，完成的请求立即让位给新请求。 2022核心 推测解码Speculative Decoding 小模型先猜几个 token，大模型一次性验证，输出分布不变。 2022核心 AWQ 激活感知量化AWQ (Activation-aware Weight Quantization) 根据激活大小找出最重要的 1% 权重并加以保护。 2023核心 大模型当评委LLM-as-a-Judge 用强模型给其他模型的回答打分或做两两比较。 2023核心 间接提示注入Indirect Prompt Injection 把恶意指令藏进网页、邮件或文档，借模型之手执行。 2023核心

和这些算法配套的学习目标、动手项目和自测题。

• 1从零到深度学习 · 从线性回归一路走到 ResNet 和 Transformer 的前身，打牢“模型如何被训练”的直觉。24
• 2从零理解一个大模型 · 从分词到 Transformer、现代架构、预训练和推理，按 nanoGPT 的顺序搞懂一个大模型的每个零件。19
• 3后训练与推理模型 · 从指令微调、LoRA 到 RLHF、DPO，再到 GRPO、RLVR 与 DeepSeek-R1，理解 ChatGPT 与 o1/R1 是怎么“炼”成的。19
• 4生成式与前沿研究 · 扩散/流匹配、多模态、新架构、世界模型与可解释性——2024–2026 年最活跃的研究方向。26