Skip to content
简体中文

切换主题

发现▾

不知道从哪开始？本周最热的软件、模型和组合，3 分钟看完 AI 圈的变化。

AI 软件▾

给人用的 AI 软件：从 ChatGPT 这类助手，到写代码、做视频、搭工作流的工具，按用途挑。

Agent 工具▾

给 AI 用的软件：让你的 agent（Claude Code、Codex、Cursor…）能上网、读文档、跑代码、记住事情。

模型▾

选模型、算成本、自己部署：价格、榜单、评测、免费额度和自建算力都在这里。

解决方案▾

有具体目标或报错？按场景给出现成的软件组合、步骤和问题解法。

学 AI▾

一套从零到前沿的系统课程，配算法库、必读论文和精选教程。

前沿▾

每天的 AI 新闻、每周热点、最新论文和 AI 改造各学科的进度。

// 阶段 8 · RAG、Agent 与应用工程

AI 应用工程：评测、成本与上线

自建评测集、LLM 评委、可观测性、模型网关、成本控制、产品设计。

看学习目标 ↓ 代码与练习 ↓

约 8 小时3 个算法1 篇论文正文编写中

01学习目标

建议先学：Agent：工具调用、MCP、规划与记忆

02要掌握的算法

每张卡都有原始论文、前置和学习资料。

大模型当评委LLM-as-a-Judge 用强模型给其他模型的回答打分或做两两比较。 2023核心 推测解码Speculative Decoding 小模型先猜几个 token，大模型一次性验证，输出分布不变。 2022核心 RadixAttention 前缀缓存RadixAttention (Prefix Caching) 用基数树自动复用不同请求间相同前缀的 KV Cache。 2023扩展

03必读论文

04课程与视频

05动手：项目、代码与练习

全部是官方或作者公开的免费页面，多数能在浏览器或免费 Colab 里直接运行。

动手项目

为自己做的 RAG/Agent 写 50 条评测用例，接入 CI，每次改提示或模型自动跑分。

  1. 1
    OpenAI Cookbook ↗官方文档

    跑结构化输出、批处理和评测相关示例。

  2. 2
    Anthropic Claude Cookbooks ↗可运行 Notebook

    跑提示缓存、工具调用和子 Agent 等示例 Notebook。

  3. 3
    promptfoo/promptfoo（提示词测试与红队） ↗参考实现

    为应用写回归测试，在每次改提示或换模型时自动跑。

06自测题

先自己想，再点开看答案。

LLM 评委常见偏差？

位置偏差、长度偏差、自我偏好。

提示缓存能省什么？

重复前缀的计算与费用。

上线前最重要的一类测试？

针对真实业务分布的回归评测。

所在人群路线：应用开发者 · 产品与管理者

数据更新于：AI 算法图谱与课程体系（北京时间）