Skip to content
简体中文

切换主题

发现▾

不知道从哪开始？本周最热的软件、模型和组合，3 分钟看完 AI 圈的变化。

AI 软件▾

给人用的 AI 软件：从 ChatGPT 这类助手，到写代码、做视频、搭工作流的工具，按用途挑。

Agent 工具▾

给 AI 用的软件：让你的 agent（Claude Code、Codex、Cursor…）能上网、读文档、跑代码、记住事情。

模型▾

选模型、算成本、自己部署：价格、榜单、评测、免费额度和自建算力都在这里。

解决方案▾

有具体目标或报错？按场景给出现成的软件组合、步骤和问题解法。

学 AI▾

一套从零到前沿的系统课程，配算法库、必读论文和精选教程。

前沿▾

每天的 AI 新闻、每周热点、最新论文和 AI 改造各学科的进度。

// 软件组合

LLM 应用监控与评估

上线前用回归测试卡住质量，上线后记录 trace、成本和延迟，发现模型悄悄变差。

5 个组件4 步搭建场景：评估、监控 AI 质量

组件与作用

  1. 1

    promptfoo 评估、红队与护栏 开源

    提示词和 agent 的回归测试、红队

    提示词/agent 测试与红队

    ★ 26k
  2. 2

    langfuse 可观测与 trace 开源

    trace、成本和评分

    LLM 工程可观测、评估与提示管理

    ★ 36k
  3. 3

    phoenix 可选 可观测与 trace 开源

    基于 OpenTelemetry 的 trace 分析

    AI 可观测与评估

    ★ 12k
  4. 4

    OpenTelemetry GenAI 语义约定 协议、规范与 agent 支付 开放规范

    GenAI 调用的通用 trace 字段规范

    可观测筛选维度

  5. 5

    deepeval 可选 评估、红队与护栏 开源

    LLM 输出的单元测试框架

    LLM 单元测试式评估

    ★ 19k

搭建步骤

  1. 01先整理 30–100 条真实用户问题和期望答案，作为黄金集
  2. 02用 promptfoo 或 DeepEval 把黄金集写成测试，改提示词或换模型前必须跑
  3. 03线上接 Langfuse（或 Phoenix）记录 trace、成本和延迟，字段按 OpenTelemetry GenAI 规范
  4. 04把差评对话回流进黄金集，每周复跑回归

✓ 适合

  • LLM 功能已上线或即将上线

✗ 这些情况换别的

  • 还在原型阶段：先手工对比几组输出即可

数据更新于：AI 软件库与热度 · 解决方案 / 组合指南（北京时间）