Skip to content
简体中文

切换主题

// 怎么做 · 控制 AI 成本和限额

给团队的大模型调用设预算和限流

把所有模型调用收口到一个网关,给每个人或每个项目发虚拟 key,在网关上设预算、速率限制和模型白名单。

核实于 2026-10-101 个官方来源

场景:控制 AI 成本和限额 →

现象

  • 某个脚本失控,一晚上烧掉大量额度
  • 无法按人或项目分摊费用

常见原因

  • 大家直接使用厂商的主 key
  • 没有统一入口,无法限流

解决步骤

  1. 部署一个 AI 网关(开源可选 LiteLLM、Portkey Gateway、Higress、Kong 等)
  2. 为每个人/项目创建虚拟 key,设置预算上限和每分钟请求数
  3. 只开放需要的模型,昂贵模型单独审批
  4. 开启用量日志,按周查看异常
  5. 厂商主 key 只保存在网关里,不发给个人

官方参考

2026-10-10 根据官方文档和公开讨论整理,尚未在本站环境复现;与官方文档不一致时以官方为准。

数据更新于:常见问题 / 报错