LLM网关与成本优化

问题：企业 LLM API 支出 2025 年达 84 亿美元，40-60% 是浪费——付了前沿模型的钱没用上能力。硬编码单一模型、所有请求同价、无成本可见性是三大病根。

核心架构：LLM 网关。应用只调一个 API，网关统一处理：模型路由、语义缓存、故障转移、成本观测、预算治理。核心收益是解耦——换模型从"重构"变"改配置"，模型选择从硬编码变运行时决策。

六大降本杠杆

1. 模型路由（最大杠杆）：按复杂度/域路由，简单请求走便宜模型。混合路由实测降 37-46% 用量、简单查询提速 32-38%

1. 语义缓存：31% 的企业查询与历史语义重复。向量相似度命中直接返回缓存，降 40-70% 成本，命中时 850ms→120ms（7× 提速）

1. 输出长度控制：输出 token 价格是输入的 3-8 倍，压缩回复长度是最直接杠杆

1. 工具定义瘦身：Agent/MCP 每请求重发大工具目录

1. 重试/故障转移：限流错误重试烧 token 无产出，网关自动 fallback

1. 预算与配额：按团队/任务级额度，防 rogue 请求

路由策略：复杂度路由（简单→便宜，难→前沿）、级联（先便宜，质量检查不过再升级）、延迟路由（交互→快模型，批处理→便宜慢模型）、域路由（代码→代码模型，视觉→多模态）。

工具选型

自研 vs 采购：有工程能力→LiteLLM 自托管；中小团队→托管聚合（换 base URL 即接入）。

实施注意：路由层每请求加毫秒级开销，高频组合缓存路由决策；敏感数据按敏感度映射获批提供商（脱敏再出边界）；批次/背景任务走便宜模型。

算账：500 万次/月调用的 SaaS，单一前沿供应商 1.8 万美元/月 → 动态多模型路由降至 6 千美元以下（降 67%）。