Skip to content
简体中文

切换主题

// ◉ 多模态与视觉

视觉 Transformer ViT

把图像切成 16×16 小块当作“单词”,直接用 Transformer 处理。

Vision Transformer (ViT) 2020 基础 核心

通俗解释

图像被切块、展平、线性投影成 token 序列,加位置编码后送入 Transformer。数据足够多时超越 CNN,如今是视觉语言模型和 DiT 的标准视觉骨干。

用在哪里:CLIP、SigLIP、各类 VLM 的视觉编码器

时间轴 · 前置 → 当前 → 后继

1998 卷积神经网络2017 Transformer 与…2020 视觉 Transformer ViT2021 CLIP 图文对比学习2021 掩码自编码器 MAE2021 Swin Transfor…2022 扩散 Transforme…2023 Segment Anyth…

01原始论文

An Image is Worth 16x16 Words: Transformers for Image Recognition at Scale

Alexey Dosovitskiy, Lucas Beyer, Alexander Kolesnikov, et al. · 2020

arXiv ↗ ✓ 已核实 · arXiv API

02知识位置

左边先学;右边是学完它之后可以学的。

03学习资料

官方文档、图解、课程和参考实现,链接都核对过。

04在课程里哪里学

所在学习路线:生成式与前沿研究

给 AI 读 / 数据说明

数据更新于:AI 算法图谱与课程体系(北京时间)