通俗解释
Word2Vec 给每个词一个固定向量,“苹果”在水果和手机语境里一样。ELMo 先训练一个双向 LSTM 语言模型,再把各层隐状态加权组合作为词的表示,于是词义随上下文变化。它证明了“先预训练语言模型、再迁移”的威力,几个月后被 BERT 接棒。
用在哪里:2018 年多项 NLP 基准的上下文特征;BERT 之前的代表方法
01原始论文
Deep contextualized word representations
Matthew E. Peters, Mark Neumann, Mohit Iyyer, et al. · 2018
arXiv ↗ ✓ 已核实 · arXiv API
02知识位置
左边先学;右边是学完它之后可以学的。
左:前置 · 右:后继 · 虚线:相关。看完整关系图 →
03学习资料
官方文档、图解、课程和参考实现,链接都核对过。
04在课程里哪里学
给 AI 读 / 数据说明
- 核实状态:已核实,核对于 2026-10-22。
- JSON: /api/learn/algorithms.json (id:
elmo)