通俗解释
标准的编码器-解码器 Transformer,输入对数梅尔频谱,输出文本并用特殊 token 指定语种、任务(转写或翻译)和时间戳。靠海量多样数据获得强鲁棒性。
用在哪里:字幕生成、会议转写、语音助手
01原始论文
Robust Speech Recognition via Large-Scale Weak Supervision
Alec Radford, Jong Wook Kim, Tao Xu, et al. · 2022
arXiv ↗ ✓ 已核实 · arXiv API
02知识位置
左边先学;右边是学完它之后可以学的。
相关:VQ-VAE 离散表示CTC 序列对齐损失wav2vec 2.0 自监督语音表征
左:前置 · 右:后继 · 虚线:相关。看完整关系图 →
03学习资料
官方文档、图解、课程和参考实现,链接都核对过。
参考实现
04在课程里哪里学
所在学习路线:生成式与前沿研究
给 AI 读 / 数据说明
- 核实状态:已核实,核对于 2026-10-21。
- JSON: /api/learn/algorithms.json (id:
whisper)