Skip to content
简体中文

切换主题

// ✦ 扩散、流匹配与生成模型

VQ-VAE 离散表示

把图像/音频编码成离散的“视觉词表”token。

VQ-VAE (Neural Discrete Representation) 2017 进阶 核心

通俗解释

编码器输出被量化到最近的码本向量,于是连续信号变成一串离散 token,可以像文字一样用 Transformer 建模。它是图像分词器和音频编解码器的基础。

用在哪里:图像/音频 tokenizer、DALL·E 1

时间轴 · 前置 → 当前 → 后继

2013 变分自编码器 VAE2017 VQ-VAE 离散表示2023 VALL-E 神经编解码语…2024 视觉自回归 VAR2024 Genie 可交互世界生成

01原始论文

Neural Discrete Representation Learning

Aaron van den Oord, Oriol Vinyals, Koray Kavukcuoglu · 2017

arXiv ↗ ✓ 已核实 · arXiv API

02知识位置

左边先学;右边是学完它之后可以学的。

相关:Transformer 与自注意力

03学习资料

官方文档、图解、课程和参考实现,链接都核对过。

04在课程里哪里学

给 AI 读 / 数据说明

数据更新于:AI 算法图谱与课程体系(北京时间)