Skip to content
简体中文

切换主题

发现▾

不知道从哪开始？本周最热的软件、模型和组合，3 分钟看完 AI 圈的变化。

AI 软件▾

给人用的 AI 软件：从 ChatGPT 这类助手，到写代码、做视频、搭工作流的工具，按用途挑。

Agent 工具▾

给 AI 用的软件：让你的 agent（Claude Code、Codex、Cursor…）能上网、读文档、跑代码、记住事情。

模型▾

选模型、算成本、自己部署：价格、榜单、评测、免费额度和自建算力都在这里。

解决方案▾

有具体目标或报错？按场景给出现成的软件组合、步骤和问题解法。

学 AI▾

一套从零到前沿的系统课程，配算法库、必读论文和精选教程。

前沿▾

每天的 AI 新闻、每周热点、最新论文和 AI 改造各学科的进度。

// 阶段 3 · 深度学习

训练深层网络：优化器、归一化与正则

SGD/动量/Adam/AdamW/Muon、学习率调度、BatchNorm/LayerNorm/RMSNorm、Dropout、残差。

看学习目标 ↓ 代码与练习 ↓

约 10 小时10 个算法4 篇论文正文编写中

01学习目标

建议先学：神经网络与反向传播

02要掌握的算法

每张卡都有原始论文、前置和学习资料。

随机梯度下降Stochastic Gradient Descent (SGD) 每次用一小批数据估计梯度，沿下坡方向走一小步。 1951核心 Adam 优化器Adam 给每个参数自适应步长的动量优化器。 2014核心 AdamWAdamW (Decoupled Weight Decay) 把权重衰减从 Adam 的梯度更新中解耦出来。 2017核心 Muon 优化器Muon Optimizer 把动量更新“正交化”后再用于矩阵参数的新优化器。 2024核心 批归一化Batch Normalization 把每层输出按一个 batch 标准化，让深网络更好训练。 2015核心 层归一化Layer Normalization 在单个样本内部做标准化，不依赖 batch。 2016核心 RMSNorm 只用均方根缩放、省掉减均值的简化版 LayerNorm。 2019核心 Dropout 训练时随机“关掉”一部分神经元以防过拟合。 2012核心 残差网络Residual Networks (ResNet) 加一条“捷径”让信号绕过层，使上百层网络可训练。 2015核心 权重初始化（Xavier / He）Weight Initialization (Xavier / He) 按层宽设定初始权重的方差，让信号和梯度不爆炸也不消失。 2010核心

03必读论文

04课程与视频

05动手：项目、代码与练习

全部是官方或作者公开的免费页面，多数能在浏览器或免费 Colab 里直接运行。

动手项目

在 CIFAR-10 上做消融：去掉 BN、去掉残差、换优化器，各训练 10 轮记录曲线。

  1. 1
    karpathy/nn-zero-to-hero（课程 Notebook） ↗可运行 Notebook

    完成 makemore 第 3–4 讲：初始化、BatchNorm 和手动反传。

  2. 2
    Kaggle Learn：Intro to Deep Learning ↗练习题

    练习随机梯度下降、过拟合、Dropout 与 BatchNorm。

  3. 3
    d2l-ai/d2l-en（全书 Jupyter Notebook） ↗可运行 Notebook

    运行“优化算法”一章的 Notebook，对比 SGD、动量和 Adam。

06自测题

先自己想，再点开看答案。

AdamW 和 Adam+L2 有何不同？

AdamW 直接衰减权重，不经过自适应缩放。

warmup 的作用？

训练初期用小学习率避免不稳定。

RMSNorm 比 LayerNorm 少了什么？

减均值和偏置。

所在人群路线：算法研究者

数据更新于：AI 算法图谱与课程体系（北京时间）