Skip to content
简体中文

切换主题

// ◉ 多模态与视觉

CLIP 图文对比学习

用 4 亿图文对训练,让图像和文字落在同一个向量空间。

CLIP (Contrastive Language–Image Pretraining) 2021 基础 核心

通俗解释

图像编码器和文本编码器分别编码,一批里配对的图文相似度拉高、不配对的压低(对比损失)。训练后可零样本分类、以文搜图,并成为文生图模型的文本条件。

用在哪里:Stable Diffusion 文本编码器、以文搜图

时间轴 · 前置 → 当前 → 后继

2018 对比学习与 InfoNCE2020 视觉 Transforme…2021 CLIP 图文对比学习2021 潜空间扩散(Stable …2022 Flamingo 交错图文…2023 SigLIP2023 视觉指令微调(LLaVA)

01原始论文

Learning Transferable Visual Models From Natural Language Supervision

Alec Radford, Jong Wook Kim, Chris Hallacy, et al. · 2021

arXiv ↗ ✓ 已核实 · arXiv API

02知识位置

左边先学;右边是学完它之后可以学的。

03学习资料

官方文档、图解、课程和参考实现,链接都核对过。

04在课程里哪里学

所在学习路线:生成式与前沿研究

给 AI 读 / 数据说明

数据更新于:AI 算法图谱与课程体系(北京时间)