// AI 新闻 · 2026-11-14 · AWS Machine Learning Blog

基于NVIDIA NeMo Switchyard的路由代理在Amazon Bedrock上实现成本优化

AWS通过AWS CDK部署LiteLLM集成NVIDIA NeMo Switchyard路由插件，实现编码代理请求在多个模型间的动态分配。该方案将编码任务的总成本按完成任务数进行衡量，而非单纯按token计费，从而更准确反映实际运行效率。

阅读原文（AWS Machine Learning Blog）↗

原文发布 2026-11-14 06:30（北京时间）来源 AWS Machine Learning Blog自动整理 · 已核对原文

01摘要

系统采用Stage路由和Random路由两种策略：Stage路由基于工具调用历史选择模型，Random路由按配置权重分配请求。请求经由HTTPS负载均衡器进入私有子网中的Fargate容器，通过Amazon Bedrock Converse API调用目标模型，响应流经LiteLLM返回客户端。所有操作均在VPC内完成，保障网络隔离。实验使用switchyard-server 0.3.0和LiteLLM v1.102.0版本，为非生产环境测试设计，配置可能随版本更新变化。

由开源模型根据原文自动整理，经数字/专名逐项核对（必须在原文中出现），以原文为准。

02要点

编码任务成本以每完成任务的总支出衡量，而非单次token消耗。
NVIDIA NeMo Switchyard提供Stage和Random两种路由策略，基于历史调用或权重分配模型请求。
LiteLLM与Switchyard插件部署于Fargate私有容器中，通过Amazon Bedrock Converse API执行模型调用。
方案为实验性配置，适用于非生产环境测试，配置可能随版本更新而变动。

03原文出处

Route coding agent requests to the right model on Amazon Bedrock with NVIDIA NeMo Switchyard

AWS Machine Learning Blog · 发布于 2026-11-14 06:30（北京时间） · 上方为原标题

05相关新闻

出自智图 AI 新闻：从 1100 多个官方与媒体信源采集。摘要只转述原文内容，详情请看原文。 2026-11-14 全部新闻 · 按日期归档 · 全部 AI 新闻 · 今日

01摘要

02要点

03原文出处

04站内相关

相关产品与工具

05相关新闻