Skip to content
简体中文

切换主题

发现▾

不知道从哪开始？本周最热的软件、模型和组合，3 分钟看完 AI 圈的变化。

AI 软件▾

给人用的 AI 软件：从 ChatGPT 这类助手，到写代码、做视频、搭工作流的工具，按用途挑。

Agent 工具▾

给 AI 用的软件：让你的 agent（Claude Code、Codex、Cursor…）能上网、读文档、跑代码、记住事情。

模型▾

选模型、算成本、自己部署：价格、榜单、评测、免费额度和自建算力都在这里。

解决方案▾

有具体目标或报错？按场景给出现成的软件组合、步骤和问题解法。

学 AI▾

一套从零到前沿的系统课程，配算法库、必读论文和精选教程。

前沿▾

每天的 AI 新闻、每周热点、最新论文和 AI 改造各学科的进度。

// 阶段 9 · 安全、评测与前沿

前沿风险、可扩展监督与治理

弱到强泛化、辩论、宪法式 AI、风险框架与法规（欧盟 AI 法案、NIST AI RMF）。

看学习目标 ↓ 代码与练习 ↓

约 6 小时4 个算法3 篇论文正文编写中

01学习目标

建议先学：对齐：RLHF、DPO 与宪法式 AI

02要掌握的算法

每张卡都有原始论文、前置和学习资料。

弱到强泛化Weak-to-Strong Generalization 用弱模型的标签监督强模型，研究人类如何监督超人 AI。 2023核心 AI 辩论AI Safety via Debate 让两个 AI 辩论，由人类裁判，帮助人类监督复杂问题。 2018扩展 宪法式 AI / RLAIFConstitutional AI / RLAIF 用一份成文“宪法”让 AI 自己批评修改回答，用 AI 反馈代替人工标注。 2022核心 潜伏后门与欺骗性对齐Sleeper Agents (Backdoors that Persist) 植入后门的模型能在安全训练后依然保持隐藏的恶意行为。 2024扩展

03必读论文

04课程与视频

05动手：项目、代码与练习

全部是官方或作者公开的免费页面，多数能在浏览器或免费 Colab 里直接运行。

动手项目

为一个 50 人公司起草《生成式 AI 使用规范》，覆盖数据、审批、审计与事件响应。

  1. 1
    BlueDot Impact AI 安全课程 ↗课程

    报名 BlueDot 的 AI 安全或治理课程，参加小组讨论。

  2. 2
    Inspect（英国 AISI 评测框架） ↗官方文档

    用 Inspect 写一个检测危险能力或欺骗行为的小评测。

06自测题

先自己想，再点开看答案。

弱到强泛化研究的类比是什么？

用弱模型监督强模型，类比人类监督超人 AI。

欧盟 AI 法案按什么分级监管？

风险等级。

NIST AI RMF 的四个核心功能？

治理、映射、测量、管理。

所在人群路线：产品与管理者

数据更新于：AI 算法图谱与课程体系（北京时间）