Skip to content
简体中文

切换主题

// ⬡ 深度学习基础

ELMo 上下文词向量

用双向 LSTM 语言模型,让同一个词在不同句子里有不同向量。

ELMo (Contextual Word Embeddings) 2018 基础 扩展

通俗解释

Word2Vec 给每个词一个固定向量,“苹果”在水果和手机语境里一样。ELMo 先训练一个双向 LSTM 语言模型,再把各层隐状态加权组合作为词的表示,于是词义随上下文变化。它证明了“先预训练语言模型、再迁移”的威力,几个月后被 BERT 接棒。

用在哪里:2018 年多项 NLP 基准的上下文特征;BERT 之前的代表方法

时间轴 · 前置 → 当前 → 后继

1997 LSTM 长短期记忆网络2013 Word2Vec 词向量2018 ELMo 上下文词向量

01原始论文

Deep contextualized word representations

Matthew E. Peters, Mark Neumann, Mohit Iyyer, et al. · 2018

arXiv ↗ ✓ 已核实 · arXiv API

02知识位置

左边先学;右边是学完它之后可以学的。

先学

ELMo 上下文词向量

学完可以学

  • 图谱里暂无后继

相关:BERTGloVe 词向量

LSTM 长短期记忆网络Word2Vec 词向量BERTGloVe 词向量 ELMo 上下文词向量

左:前置 · 右:后继 · 虚线:相关。看完整关系图 →

03学习资料

官方文档、图解、课程和参考实现,链接都核对过。

04在课程里哪里学

给 AI 读 / 数据说明

数据更新于:AI 算法图谱与课程体系(北京时间)