Skip to content
简体中文

切换主题

// ◉ 多模态与视觉

CTC 序列对齐损失

不用逐帧标注,就能训练语音、手写等输入输出长度不一的识别模型。

Connectionist Temporal Classification (CTC) 2006 进阶 核心

通俗解释

一段音频有几百帧,对应的文字只有十几个字,事先不知道哪帧对哪个字。CTC 引入“空白”符号,把所有能折叠成正确文字的对齐路径的概率加起来作为目标,用动态规划高效计算。这样只需要“音频 + 文字”成对数据就能端到端训练。

用在哪里:语音识别(如 DeepSpeech 2、wav2vec 2.0 微调)、手写与场景文字识别

时间轴 · 前置 → 当前 → 后继

1997 LSTM 长短期记忆网络2006 CTC 序列对齐损失

01原始论文

Connectionist temporal classification: labelling unsegmented sequence data with recurrent neural networks

Alex Graves, Santiago Fernández, Faustino Gomez, Jürgen Schmidhuber · ICML 2006 · 2006

DOI ↗ ✓ 已核实 · Crossref API doi:10.1145/1143844.1143891

02知识位置

左边先学;右边是学完它之后可以学的。

先学

CTC 序列对齐损失

学完可以学

  • 图谱里暂无后继

相关:Whisper 弱监督语音识别wav2vec 2.0 自监督语音表征

LSTM 长短期记忆网络Whisper 弱监督语音识别wav2vec 2.0 自监督… CTC 序列对齐损失

左:前置 · 右:后继 · 虚线:相关。看完整关系图 →

03学习资料

官方文档、图解、课程和参考实现,链接都核对过。

04在课程里哪里学

给 AI 读 / 数据说明

数据更新于:AI 算法图谱与课程体系(北京时间)