Skip to content
简体中文

切换主题

发现▾

不知道从哪开始？本周最热的软件、模型和组合，3 分钟看完 AI 圈的变化。

AI 软件▾

给人用的 AI 软件：从 ChatGPT 这类助手，到写代码、做视频、搭工作流的工具，按用途挑。

Agent 工具▾

给 AI 用的软件：让你的 agent（Claude Code、Codex、Cursor…）能上网、读文档、跑代码、记住事情。

模型▾

选模型、算成本、自己部署：价格、榜单、评测、免费额度和自建算力都在这里。

解决方案▾

有具体目标或报错？按场景给出现成的软件组合、步骤和问题解法。

学 AI▾

一套从零到前沿的系统课程，配算法库、必读论文和精选教程。

前沿▾

每天的 AI 新闻、每周热点、最新论文和 AI 改造各学科的进度。

// 阶段 3 · 深度学习

神经网络与反向传播

从神经元、多层感知机到反向传播与激活函数。

读正文 → 代码与练习 ↓

约 10 小时4 个算法2 篇论文已有正文

01学习目标

建议先学：PyTorch 入门与自动求导 · 机器学习流程：数据、损失与泛化

02站内正文

03要掌握的算法

每张卡都有原始论文、前置和学习资料。

感知机Perceptron 最早的“人工神经元”：加权求和后过阈值。 1958核心 反向传播Backpropagation 用链式法则从输出往回算出每个参数的梯度。 1986核心 GELU 激活函数GELU 按概率“软开关”输入的平滑激活函数。 2016核心 自编码器Autoencoder 先把输入压缩成短向量再还原，学到数据的紧凑表示。 2006核心

04必读论文

05课程与视频

06动手：项目、代码与练习

全部是官方或作者公开的免费页面，多数能在浏览器或免费 Colab 里直接运行。

动手项目

不用框架，用 NumPy 实现两层 MLP 识别 MNIST，达到 95% 以上准确率。

  1. 1
    karpathy/micrograd（参考实现） ↗参考实现

    从零实现反向传播并和 PyTorch 的梯度对照。

  2. 2
    karpathy/nn-zero-to-hero（课程 Notebook） ↗可运行 Notebook

    跟视频完成第 1 讲 Notebook（反向传播讲解）。

  3. 3
    TensorFlow Playground：浏览器里训练神经网络 ↗交互演示

    只用一层隐藏层能不能分开螺旋数据？试试看。

07自测题

先自己想，再点开看答案。

没有非线性激活的多层网络等价于什么？

一个线性变换。

反向传播的计算复杂度大致是前向的几倍？

同一量级（约 2 倍）。

梯度消失常见原因？

深层中连乘小于 1 的导数，如 sigmoid 饱和。

所在人群路线：算法研究者 · 各学科研究者

数据更新于：AI 算法图谱与课程体系（北京时间）