OmniRoute：把 231 家大模型商当成一个端口
OmniRoute 是一个开源的本地 AI 网关，让你的工具只对准一个端点，然后它在背后安静地把每个请求路由到 231 多家供应商，其中 50 多家有免费额度。某个额度用光了，它会沿着订阅、API、便宜、免费这四级阶梯自动降级。它带了 17 种路由策略，还有一个自动组合引擎，按健康度、额度、成本、延迟、成功率等九个因子给供应商打分。说白了就是把模型套利打包好了。
把它和普通代理区分开的，是 token 压缩。它把九个可组合的引擎叠在一起——名字叫 RTK、Caveman、Headroom、LLMLingua-2 之类——靠过滤命令输出和压缩散文，号称省下 15% 到 95% 的 token，同时保证代码块、URL 和结构化数据无损。对那些被工具输出和重复上下文淹没的 agent 负载来说，这才是真正能动账单的那一刀。它还在 40 多个池子里聚合了每月大约 16 亿免费 token，而且去重计数，不是那种通常注水的营销数字。
它对接 16 多个 AI IDE，包括 Claude Code、Cursor、Copilot、Cline 和 OpenCode，在 OpenAI、Claude、Gemini 的 API 之间互译让工具保持可移植，还附带一个有 87 个工具的 MCP server，加上 A2A 让 agent 之间自主协作。这正好落在我们一直在追的那条线上：路由层就是产品本身，从 Workweave Router 到 vLLM Micro-Agent 一路看下来。论点一样，而且越来越响——模型是大宗商品，谁拥有那个负责挑选、压缩、容错切换的网关，谁就拿走价值。
MIT 许可，TypeScript，6 月 30 号刚出 v3.8.42，能跑在 npm、Docker、Electron、用 Termux 的 Android 上，或者做成 PWA。地址在 https://github.com/diegosouzapw/OmniRoute
← 返回所有文章
把它和普通代理区分开的，是 token 压缩。它把九个可组合的引擎叠在一起——名字叫 RTK、Caveman、Headroom、LLMLingua-2 之类——靠过滤命令输出和压缩散文，号称省下 15% 到 95% 的 token，同时保证代码块、URL 和结构化数据无损。对那些被工具输出和重复上下文淹没的 agent 负载来说，这才是真正能动账单的那一刀。它还在 40 多个池子里聚合了每月大约 16 亿免费 token，而且去重计数，不是那种通常注水的营销数字。
它对接 16 多个 AI IDE，包括 Claude Code、Cursor、Copilot、Cline 和 OpenCode，在 OpenAI、Claude、Gemini 的 API 之间互译让工具保持可移植，还附带一个有 87 个工具的 MCP server，加上 A2A 让 agent 之间自主协作。这正好落在我们一直在追的那条线上：路由层就是产品本身，从 Workweave Router 到 vLLM Micro-Agent 一路看下来。论点一样，而且越来越响——模型是大宗商品，谁拥有那个负责挑选、压缩、容错切换的网关，谁就拿走价值。
MIT 许可，TypeScript，6 月 30 号刚出 v3.8.42，能跑在 npm、Docker、Electron、用 Termux 的 Android 上，或者做成 PWA。地址在 https://github.com/diegosouzapw/OmniRoute
评论