Skip to content
简体中文

切换主题

// 软件组合

模型网关与成本控制

一个入口接所有模型:按团队设预算和限流,失败自动切换,并看清每个人、每个项目花了多少钱。

5 个组件4 步搭建场景:控制 AI 成本和限额

组件与作用

  1. 1

    litellm 模型网关、路由与用量 开源

    自建 OpenAI 兼容网关,预算和限流

    统一调用 100+ LLM 的 SDK 与代理网关

    ★ 62k
  2. 2

    OpenRouter 可选 模型网关、路由与用量 闭源 / 商业

    托管的多模型路由,按量计费

    统一 API 网关,一个接口调用数百个大模型并按量计费。

  3. 3

    Portkey-AI/gateway 可选 模型网关、路由与用量 开源

    开源网关,带重试、缓存和回退

    AI 网关:路由、重试、护栏

    ★ 13k
  4. 4

    helicone 可观测与 trace 开源

    请求日志和成本分析

    LLM 可观测平台

    ★ 6.2k
  5. 5

    ccusage 模型网关、路由与用量 开放规范

    编程 agent 订阅的用量统计

    本地用量统计,DEV P02 点名

搭建步骤

  1. 01先决定托管(OpenRouter,按量付费、零运维)还是自建(LiteLLM / Portkey)
  2. 02给每个成员或项目发独立的虚拟 key,设月度预算和每分钟限流
  3. 03配置失败回退:主模型超时或限流时自动切到备用模型
  4. 04用 Helicone 或网关自带面板看每人每项目花费;编程 agent 订阅用 ccusage 单独统计

✓ 适合

  • 多人、多项目共用 API key,账单看不清

✗ 这些情况换别的

  • 个人只用一家订阅

相近组合:区别在哪

  • 多模型网关那套是一份热门工具短清单,这套给出预算、限流、回退的完整做法

数据更新于:AI 软件库与热度 · 解决方案 / 组合指南(北京时间)