Skip to content
简体中文

切换主题

// ◎ Transformer 与注意力

T5 文本到文本

把所有 NLP 任务统一成“输入文本→输出文本”。

T5 (Text-to-Text Transfer Transformer) 2019 基础 核心

通俗解释

翻译、摘要、分类都写成文本前缀,用同一个编码器-解码器模型训练。论文系统比较了预训练目标、数据和规模,是重要的实验指南。

用在哪里:Flan-T5、文本生成编码器

时间轴 · 前置 → 当前 → 后继

2017 Transformer 与…2018 BERT2019 T5 文本到文本2021 指令微调(FLAN)

01原始论文

Exploring the Limits of Transfer Learning with a Unified Text-to-Text Transformer

Colin Raffel, Noam Shazeer, Adam Roberts, et al. · 2019

arXiv ↗ ✓ 已核实 · arXiv API

02知识位置

左边先学;右边是学完它之后可以学的。

先学

T5 文本到文本

学完可以学

Transformer 与自注…BERT指令微调(FLAN) T5 文本到文本

左:前置 · 右:后继 · 虚线:相关。看完整关系图 →

03学习资料

官方文档、图解、课程和参考实现,链接都核对过。

04在课程里哪里学

给 AI 读 / 数据说明

数据更新于:AI 算法图谱与课程体系(北京时间)