Skip to content
简体中文

切换主题

// ◎ Transformer 与注意力

GPT-3 与上下文学习

足够大的语言模型只看几个例子就能完成新任务。

GPT-3 & In-Context Learning 2020 基础 核心

通俗解释

GPT-3 只做“预测下一个词”的预训练,却能在提示里给几个示例后直接完成翻译、问答等任务,无需更新参数。这让“提示词”成为一种新的编程方式。

用在哪里:所有通用聊天模型的提示用法

时间轴 · 前置 → 当前 → 后继

2017 Transformer 与…2020 GPT-3 与上下文学习2020 缩放定律2020 检索增强生成 RAG2021 指令微调(FLAN)2022 思维链提示2023 Toolformer 自学…

01原始论文

Language Models are Few-Shot Learners

Tom B. Brown, Benjamin Mann, Nick Ryder, et al. · 2020

arXiv ↗ ✓ 已核实 · arXiv API

02知识位置

左边先学;右边是学完它之后可以学的。

03学习资料

官方文档、图解、课程和参考实现,链接都核对过。

04在课程里哪里学

所在学习路线:从零理解一个大模型

给 AI 读 / 数据说明

数据更新于:AI 算法图谱与课程体系(北京时间)