Skip to content
简体中文

切换主题

// ▲ 预训练、缩放与分布式训练

缩放定律

模型损失随参数、数据、算力按幂律平滑下降。

Scaling Laws 2020 基础 核心

通俗解释

OpenAI 发现语言模型的损失与规模之间存在跨越多个数量级的幂律关系,因此可以用小模型实验预测大模型效果,并决定如何分配算力。这是“大力出奇迹”的理论依据。

用在哪里:所有前沿模型的训练规划

时间轴 · 前置 → 当前 → 后继

2020 GPT-3 与上下文学习2020 缩放定律2022 Chinchilla 计算…2022 涌现能力

01原始论文

Scaling Laws for Neural Language Models

Jared Kaplan, Sam McCandlish, Tom Henighan, et al. · 2020

arXiv ↗ ✓ 已核实 · arXiv API

02知识位置

左边先学;右边是学完它之后可以学的。

相关:测试时计算扩展

03学习资料

官方文档、图解、课程和参考实现,链接都核对过。

04在课程里哪里学

所在学习路线:从零理解一个大模型

给 AI 读 / 数据说明

数据更新于:AI 算法图谱与课程体系(北京时间)