Skip to content
简体中文

切换主题

发现▾

不知道从哪开始？本周最热的软件、模型和组合，3 分钟看完 AI 圈的变化。

AI 软件▾

给人用的 AI 软件：从 ChatGPT 这类助手，到写代码、做视频、搭工作流的工具，按用途挑。

Agent 工具▾

给 AI 用的软件：让你的 agent（Claude Code、Codex、Cursor…）能上网、读文档、跑代码、记住事情。

模型▾

选模型、算成本、自己部署：价格、榜单、评测、免费额度和自建算力都在这里。

解决方案▾

有具体目标或报错？按场景给出现成的软件组合、步骤和问题解法。

学 AI▾

一套从零到前沿的系统课程，配算法库、必读论文和精选教程。

前沿▾

每天的 AI 新闻、每周热点、最新论文和 AI 改造各学科的进度。

// 阶段 7 · 多模态与生成

视觉 Transformer 与自监督视觉

ViT、SimCLR、MAE、JEPA、SAM。

看学习目标 ↓ 代码与练习 ↓

约 8 小时12 个算法4 篇论文正文编写中

01学习目标

建议先学：Transformer 与注意力 · CNN、RNN 与注意力的诞生

02要掌握的算法

每张卡都有原始论文、前置和学习资料。

视觉 Transformer ViTVision Transformer (ViT) 把图像切成 16×16 小块当作“单词”，直接用 Transformer 处理。 2020核心 SimCLR 自监督对比学习SimCLR 同一图片的两种增强视图互为正样本，无标签学习视觉表征。 2020扩展 掩码自编码器 MAEMasked Autoencoders (MAE) 遮住 75% 的图像块，让模型补全，从而学到视觉表征。 2021核心 联合嵌入预测架构 JEPAJoint-Embedding Predictive Architecture (JEPA) 在抽象表征空间里预测被遮住的部分，而不是重建像素。 2023核心 Segment Anything（SAM）Segment Anything (SAM) 点一下或画个框，就能分割图中任意物体的基础模型。 2023核心 对比学习与 InfoNCEContrastive Learning (InfoNCE) 拉近正样本对、推远负样本，学到好的嵌入。 2018核心 U-Net 先下采样再上采样、中间用跳连拼接的“U 形”卷积网络。 2015核心 Faster R-CNN 目标检测Faster R-CNN (Object Detection) 先由网络提出候选框，再分类并精修位置的两阶段检测器。 2015核心 YOLO 实时目标检测YOLO (Real-Time Object Detection) 一次前向就同时预测所有物体的框和类别，速度极快。 2015核心 DETR（Transformer 目标检测）DETR (Detection Transformer) 用 Transformer 把检测变成“集合预测”，去掉锚框和 NMS。 2020核心 Swin Transformer 在局部窗口里算注意力并逐层合并，适合检测分割的层级视觉骨干。 2021扩展 DINOv2 自监督视觉特征DINOv2 (Self-Supervised Visual Features) 不用标注，用自蒸馏在海量图片上训练通用视觉特征。 2023核心

03必读论文

04课程与视频

05动手：项目、代码与练习

全部是官方或作者公开的免费页面，多数能在浏览器或免费 Colab 里直接运行。

动手项目

用预训练 ViT 做小样本图像分类（线性探针 vs 微调），并用 SAM 自动标注一批图片。

  1. 1
    Hugging Face 计算机视觉课程 ↗课程

    完成 Hugging Face 计算机视觉课的动手单元。

  2. 2
    Hugging Face timm 文档（PyTorch 图像模型库） ↗官方文档

    用 timm 加载 ViT、Swin、DINOv2 等骨干，在小数据集上做迁移学习。

  3. 3
    Ultralytics YOLO 官方文档 ↗官方文档

    用 YOLO 在自己的照片上训练一个目标检测器。

06自测题

先自己想，再点开看答案。

ViT 如何把图像变成序列？

切成固定大小 patch 并线性投影。

MAE 遮盖率为何高达 75%？

图像冗余大，低遮盖太容易。

SAM 的提示可以是什么？

点、框、掩码等。

所在人群路线：各学科研究者

数据更新于：AI 算法图谱与课程体系（北京时间）