Skip to content
简体中文

切换主题

// ◉ 多模态与视觉

wav2vec 2.0 自监督语音表征

在无标注语音上做对比学习预训练,少量标注就能做好语音识别。

wav2vec 2.0 2020 进阶 核心

通俗解释

先用卷积把波形变成帧特征,再遮住一部分,让 Transformer 从候选里认出被遮住位置的正确量化表示(对比学习)。预训练只用无标注音频,之后用很少的转写数据加 CTC 微调就能得到好的识别效果,论文中只用 10 分钟标注数据也能识别。

用在哪里:低资源语言语音识别、语音特征提取(Hugging Face 常用 ASR 模型)

时间轴 · 前置 → 当前 → 后继

2017 Transformer 与…2018 对比学习与 InfoNCE2020 wav2vec 2.0 自监督语音…

01原始论文

wav2vec 2.0: A Framework for Self-Supervised Learning of Speech Representations

Alexei Baevski, Henry Zhou, Abdelrahman Mohamed, et al. · 2020

arXiv ↗ ✓ 已核实 · arXiv API

02知识位置

左边先学;右边是学完它之后可以学的。

先学

wav2vec 2.0 自监督语音表征

学完可以学

  • 图谱里暂无后继

相关:Whisper 弱监督语音识别CTC 序列对齐损失

Transformer 与自注…对比学习与 InfoNCEWhisper 弱监督语音识别CTC 序列对齐损失 wav2vec 2.0 自监督语音表征

左:前置 · 右:后继 · 虚线:相关。看完整关系图 →

03学习资料

官方文档、图解、课程和参考实现,链接都核对过。

04在课程里哪里学

给 AI 读 / 数据说明

数据更新于:AI 算法图谱与课程体系(北京时间)