Skip to content
简体中文

切换主题

发现▾

不知道从哪开始？本周最热的软件、模型和组合，3 分钟看完 AI 圈的变化。

AI 软件▾

给人用的 AI 软件：从 ChatGPT 这类助手，到写代码、做视频、搭工作流的工具，按用途挑。

Agent 工具▾

给 AI 用的软件：让你的 agent（Claude Code、Codex、Cursor…）能上网、读文档、跑代码、记住事情。

模型▾

选模型、算成本、自己部署：价格、榜单、评测、免费额度和自建算力都在这里。

解决方案▾

有具体目标或报错？按场景给出现成的软件组合、步骤和问题解法。

学 AI▾

一套从零到前沿的系统课程，配算法库、必读论文和精选教程。

前沿▾

每天的 AI 新闻、每周热点、最新论文和 AI 改造各学科的进度。

// 阶段 9 · 安全、评测与前沿

评测与基准

主流基准、竞技场、数据污染、能力评估的局限。

读正文 → 代码与练习 ↓

约 6 小时2 个算法2 篇论文已有正文

01学习目标

建议先学：预训练、数据与缩放定律

02站内正文

03要掌握的算法

每张卡都有原始论文、前置和学习资料。

大模型当评委LLM-as-a-Judge 用强模型给其他模型的回答打分或做两两比较。 2023核心 涌现能力Emergent Abilities 某些能力在模型变大到某个规模后才“突然”出现。 2022核心

04必读论文

05课程与视频

06动手：项目、代码与练习

全部是官方或作者公开的免费页面，多数能在浏览器或免费 Colab 里直接运行。

动手项目

用 lm-evaluation-harness 在 3 个开源模型上跑同一组基准，并与官方报告数字对比。

  1. 1
    EleutherAI lm-evaluation-harness ↗参考实现

    用评测框架在 MMLU、GSM8K 等基准上测一个开源模型。

  2. 2
    UK AISI inspect_evals（现成评测集合） ↗参考实现

    跑一个现成的 Inspect 评测，并改写成你自己的任务。

  3. 3
    LMArena：模型匿名对战评测 ↗工具

    亲自投票做盲测，理解人类偏好评测的原理和局限。

07自测题

先自己想，再点开看答案。

数据污染是什么？

测试题出现在训练数据中。

竞技场排名用什么模型计算？

Bradley–Terry/Elo 类配对比较模型。

单一基准分数的局限？

覆盖窄、可被针对优化。

所在人群路线：应用开发者 · 产品与管理者

数据更新于：AI 算法图谱与课程体系（北京时间）