01学习目标
- 理解图文对比学习
- 理解“视觉编码器+投影+LLM”结构
- 会评估 VLM 的 OCR/图表能力
建议先学：视觉 Transformer 与自监督视觉 · 指令微调与参数高效微调
02要掌握的算法
每张卡都有原始论文、前置和学习资料。
CLIP 图文对比学习CLIP (Contrastive Language–Image Pretraining) 用 4 亿图文对训练，让图像和文字落在同一个向量空间。 2021核心 SigLIPSigLIP (Sigmoid Loss) 用逐对 sigmoid 损失代替 softmax 对比损失，训练更省更稳。 2023核心 视觉指令微调（LLaVA）Visual Instruction Tuning (LLaVA) 用投影层把视觉编码器接到大模型上，再用图文指令数据微调。 2023核心 Flamingo 交错图文模型Flamingo 在冻结的大模型中插入交叉注意力层，让它读懂穿插图片的文本。 2022扩展
03必读论文
04课程与视频
05动手：项目、代码与练习
全部是官方或作者公开的免费页面，多数能在浏览器或免费 Colab 里直接运行。
动手项目
用 CLIP 搭一个以文搜图的小应用；再用开源 VLM 批量识别 50 张图表并评估正确率。
- 1
- 2
06自测题
先自己想，再点开看答案。
CLIP 如何做零样本分类？
把类别名写成文本，与图像嵌入比相似度。
LLaVA 中投影层的作用？
把视觉特征映射到语言模型的嵌入空间。
SigLIP 相比 CLIP 改了什么？
sigmoid 逐对损失代替 softmax 对比损失。