基于Amazon Bedrock与LiteLLM构建自服务LLM网关

该架构包含LiteLLM代理层、自服务门户、持久化与缓存存储组件以及Amazon Bedrock应用推理配置。请求流程从开发者工具经LiteLLM代理转发至Amazon Bedrock，中间通过RDS记录支出状态，ElastiCache实现响应缓存，AWS Secrets Manager管理密钥。Langfuse用于提供提示级监控和延迟追踪，补充CloudWatch的基础设施指标。方案支持模型切换、故障转移及多提供商迁移，无需修改开发者配置，但需使用LiteLLM Enterprise版本才能实现自服务密钥发放功能。

由开源模型根据原文自动整理，经数字/专名逐项核对（必须在原文中出现），以原文为准。