生成式与前沿研究

每一步都以上一步为基础。点卡片看论文和资料。

1. 生成模型

   7 个算法

   变分自编码器 VAEVariational Autoencoder (VAE) 把数据编码成概率分布，再从中采样解码生成新数据。 2013核心 去噪扩散概率模型 DDPMDenoising Diffusion Probabilistic Models (DDPM) 学会一步步把噪声还原成图像。 2020核心 潜空间扩散（Stable Diffusion）Latent Diffusion Models 在 VAE 压缩后的潜空间里做扩散，大幅降低成本。 2021核心 无分类器引导 CFGClassifier-Free Guidance (CFG) 同时预测有条件和无条件的结果，按比例放大差异，让图更贴合提示。 2022核心 扩散 Transformer DiTDiffusion Transformer (DiT) 用 Transformer 代替 U-Net 做扩散去噪骨干。 2022核心 流匹配Flow Matching 直接学习把噪声“流动”成数据的速度场。 2022核心 整流（Rectified Flow）Rectified Flow 把生成路径“拉直”，少数几步甚至一步就能生成。 2022扩展

2. 多模态

   5 个算法

   视觉 Transformer ViTVision Transformer (ViT) 把图像切成 16×16 小块当作“单词”，直接用 Transformer 处理。 2020核心 CLIP 图文对比学习CLIP (Contrastive Language–Image Pretraining) 用 4 亿图文对训练，让图像和文字落在同一个向量空间。 2021核心 视觉指令微调（LLaVA）Visual Instruction Tuning (LLaVA) 用投影层把视觉编码器接到大模型上，再用图文指令数据微调。 2023核心 Whisper 弱监督语音识别Whisper 用 68 万小时网络语音弱标注数据训练的通用语音识别。 2022核心 Segment Anything（SAM）Segment Anything (SAM) 点一下或画个框，就能分割图中任意物体的基础模型。 2023核心

3. 新架构

   6 个算法

   Mamba 选择性状态空间Mamba (Selective State Spaces) 让状态空间参数随输入变化，获得线性时间且接近 Transformer 的效果。 2023核心 线性注意力Linear Attention 用核函数近似 softmax，把注意力复杂度从平方降到线性。 2020核心 门控 DeltaNetGated Delta Networks 把“增量规则”记忆更新和门控遗忘结合的线性注意力。 2024核心 混合架构（Transformer+SSM）Hybrid Architectures (Jamba) 在同一模型里交替堆叠注意力层和 Mamba 层（并加 MoE）。 2024核心 扩散语言模型Diffusion Language Models (LLaDA) 不按从左到右生成，而是从全遮盖逐步“去噪”出整段文本。 2025核心 原生稀疏注意力 NSANative Sparse Attention (NSA) 可训练、对硬件友好的动态稀疏注意力。 2025核心

4. 世界模型

   4 个算法

   世界模型（Ha & Schmidhuber）World Models 先学一个能“做梦”的环境模型，再在梦里训练策略。 2018核心 Dreamer（隐空间想象）Dreamer (Latent Imagination) 在学到的隐空间世界模型中想象未来轨迹来训练行为。 2019核心 联合嵌入预测架构 JEPAJoint-Embedding Predictive Architecture (JEPA) 在抽象表征空间里预测被遮住的部分，而不是重建像素。 2023核心 Genie 可交互世界生成Genie (Generative Interactive Environments) 从无标注游戏视频中学会生成可用键盘操控的世界。 2024核心

5. 打开黑箱

   4 个算法

   叠加假说Superposition 模型用比神经元更多的“特征”，把它们叠加压缩在同一组维度里。 2022核心 稀疏自编码器 SAESparse Autoencoders (SAE) 把模型激活分解成大量可解释的稀疏“特征”。 2023核心 电路追踪与归因图Circuit Tracing & Attribution Graphs 用替代模型画出某次回答中特征之间的因果路径图。 2025核心 激活引导Activation Steering 在推理时给中间激活加一个“方向向量”来改变模型行为。 2023核心

和这些算法配套的学习目标、动手项目和自测题。

• 1从零到深度学习 · 从线性回归一路走到 ResNet 和 Transformer 的前身，打牢“模型如何被训练”的直觉。24
• 2从零理解一个大模型 · 从分词到 Transformer、现代架构、预训练和推理，按 nanoGPT 的顺序搞懂一个大模型的每个零件。19
• 3后训练与推理模型 · 从指令微调、LoRA 到 RLHF、DPO，再到 GRPO、RLVR 与 DeepSeek-R1，理解 ChatGPT 与 o1/R1 是怎么“炼”成的。19
• 4AI 应用工程师 · 面向做产品的工程师：检索、RAG、Agent、推理服务与安全，尽快把 AI 做成可靠的应用。20