OmniRoute：MIT 开源 AI 网关，358 家提供商、1200+ 模型与 Token 压缩

OmniRoute 是一个以 MIT 协议开源的 AI 网关，作者是 diegosouzapw。它的主张很直接：让 Claude Code、Codex、Cursor、Cline、Copilot 和 Antigravity 这类编码工具，通过同一个端点，接入 358 家模型提供商（项目标题写作 359 家、1200 多个模型），其中 150 多家提供免费额度，额度用尽时自动回退到下一家。它给出的头条数字是每月约 16.2 亿免费 token，起步成本为零。这个数字很抓眼球，所以值得先弄清它是怎么算出来的，再判断它有多少分量。 README 披露的算法比营销口号克制得多。项目编目了 489 条免费层条目，归并为 35 个循环额度池。头条数字只统计其中 17 个有公开、为正的月度预算的池，外加 Groq 的五个按模型上限，并且按共享池去重，同一个池只算一次。需要先通过地区身份核验才能开通的额度，目前是 ModelScope，约 600 万，被单独列出，不计入头条。首月叠加注册赠送额度，上限约 22.2 亿。预算条里点名的大头包括 Mistral 的 10 亿、Nara 的 2.1 亿、LLM7 与 xKiro 各 1.5 亿，以及 Groq 五个模型上限合计 3000 万。另有 13 家提供商在条款风险目录中被标为“避免”，交给用户自己决定。项目还承诺每两周对照实时目录复核一次，数字会涨也会跌。这套做法的价值在于透明：免费层真正的难题不是找不到，而是看不清。

在路由与成本这一侧，OmniRoute 提供 19 种路由策略，并在上游额度耗尽或出错时自动切换。它还叠加了 RTK 与 Caveman 两层压缩，宣称可节省 15% 到 95% 的 token，平均约 89%。压缩发生在网关内部，上游工具无需改动。这里需要冷静读数：89% 是项目自报的平均值，实际收益取决于负载。重复的工具输出、冗长的日志和样板上下文压缩空间很大，而高密度的代码推理与新颖的需求描述压缩空间小得多。把它当成上限参考，用自己的真实会话去测，比直接相信平均值可靠。把视线从数字移开，看工程细节，会更清楚它解决的是哪一类问题。多家提供商意味着多种接口方言、多套认证方式、多种限速语义：有的按每分钟请求数限流，有的按每日 token 总量，有的按单个模型设上限。网关要做的，是把这些差异折叠成一个统一的调用面，同时记住每个池还剩多少、何时重置。19 种路由策略正是为此而设，它们让开发者可以按延迟、成本、额度余量或模型能力来决定下一跳，而不是把选择权交给运气。自动回退则把失败变成一次内部重试，上层的编码工具看到的只是一次略慢的成功响应。对长时间运行的智能体任务来说，这比任何单点的稳定性承诺都更实用，因为中途断流的代价通常是整段上下文重来。

从架构角度看，这个项目的意义在于把“网关”推成了编码智能体的控制面。编码智能体的用量模式很特殊：会话长，工具调用多，上下文反复回放，对额度极其敏感，也最容易在中途撞上限流。一个懂配额、懂协议差异、能在失败时无缝换路的中间层，把“选哪家模型”这件事从每个工具的配置里抽出来，集中到一处管理。开发者不再为每个工具单独配置十几个密钥和限速规则，而是面对一个端点、一块仪表盘。MIT 许可意味着可以自托管并审计这层代码，这对一个会经手提示词的组件尤其重要。 放到行业背景里看，OmniRoute 反映了一种正在成形的分工：模型提供商竞争能力与价格，而“如何用好这么多提供商”正在成为独立的一层基础设施。免费层本来是获客手段，被系统化地聚合之后，它变成了一种可被调度的公共算力池。这对学生、独立开发者和资源有限的小团队意义最大，因为它降低了试验智能体工作流的门槛。但它同时提醒我们，免费额度的可持续性取决于供应商的商业选择，聚合层越成功，越可能促使供应商调整规则。因此，更稳妥的读法是把它看作一个观察窗口和一套可迁移的工程模式，而不是永久免费的承诺。对团队而言，真正可以长期受益的部分，是把额度监控、回退逻辑和路由策略沉淀为自己的基础设施能力，这些能力无论免费层如何变化都不会过时，也能迁移到付费提供商的场景中。换句话说，网关里最值钱的是经验，而不是那串数字。

当然，风险同样集中。第一，免费层条款随时会变，供应商收紧政策时，依赖它的工作流会立刻受影响，项目自己也承认数字会双向变化。第二，提示词里常含源码与内部上下文，经网关转发到数十家第三方，数据流向比单一供应商复杂得多。第三，密钥与路由配置集中后，网关本身成为高价值目标，需要按生产组件对待。务实的做法是：把它用在开源或非敏感的项目上，把敏感仓库路由到自有或付费的可信提供商，并持续关注 /dashboard/free-tiers 上的实时额度。对多数个人开发者与小团队，它是一次把免费算力变成可管理资产的认真尝试，值得今天就拉下来试用。