// ◉ 算法图谱
多模态与视觉
ViT、CLIP、视觉语言模型、语音识别、分割与 3D 重建，让 AI 看、听、理解世界。
12 个核心3 个扩展2006–2023
本类时间线
01核心算法
先学这些，按年份排列。
CTC 序列对齐损失Connectionist Temporal Classification (CTC) 不用逐帧标注，就能训练语音、手写等输入输出长度不一的识别模型。 2006核心 Faster R-CNN 目标检测Faster R-CNN (Object Detection) 先由网络提出候选框，再分类并精修位置的两阶段检测器。 2015核心 YOLO 实时目标检测YOLO (Real-Time Object Detection) 一次前向就同时预测所有物体的框和类别，速度极快。 2015核心 视觉 Transformer ViTVision Transformer (ViT) 把图像切成 16×16 小块当作“单词”，直接用 Transformer 处理。 2020核心 神经辐射场与 3D 高斯泼溅NeRF & 3D Gaussian Splatting 从多张照片重建可任意视角渲染的 3D 场景。 2020核心 DETR（Transformer 目标检测）DETR (Detection Transformer) 用 Transformer 把检测变成“集合预测”，去掉锚框和 NMS。 2020核心 wav2vec 2.0 自监督语音表征wav2vec 2.0 在无标注语音上做对比学习预训练，少量标注就能做好语音识别。 2020核心 CLIP 图文对比学习CLIP (Contrastive Language–Image Pretraining) 用 4 亿图文对训练，让图像和文字落在同一个向量空间。 2021核心 Whisper 弱监督语音识别Whisper 用 68 万小时网络语音弱标注数据训练的通用语音识别。 2022核心 SigLIPSigLIP (Sigmoid Loss) 用逐对 sigmoid 损失代替 softmax 对比损失，训练更省更稳。 2023核心 视觉指令微调（LLaVA）Visual Instruction Tuning (LLaVA) 用投影层把视觉编码器接到大模型上，再用图文指令数据微调。 2023核心 Segment Anything（SAM）Segment Anything (SAM) 点一下或画个框，就能分割图中任意物体的基础模型。 2023核心
02扩展
核心学懂之后值得了解的变体和后续工作。