Cloudflare 想做 agent 推理的路由器
和 Email 服务同一天，Cloudflare 还发了 AI Platform——一个统一推理层，70+ 模型、12+ 供应商，一套 API。
为 agent 量身做的卖点很锋利。Agent 要串一堆推理调用。其中一个供应商慢一下，每跳就是 500ms 而不是 50ms。一个请求挂了，下游全崩。Cloudflare 的说法：你要是串了 20 个调用，带自动故障转移的路由器比更花哨的 prompt 重要得多。换供应商改一行代码就行。
除了路由：集中的成本监控带自定义 metadata，可以按用户、工作流、团队拆开看花了多少。Resilient streaming——用户在生成中途断开，响应会缓存并续上。自定义模型可以通过 Replicate 的 Cog 容器部署，比自己搭 GPU 基础设施只为跑一个微调版 checkpoint 舒服多了。
值得盯着看，因为 Cloudflare 在赌 AI Gateway + Workers + R2 + Durable Objects 变成完整的 agent 栈——计算、存储、编排、推理——全在他们的边缘上。OpenRouter 和 Portkey 做的是路由那块，但 Cloudflare 占着 agent 跑的那个运行时。杠杆不一样。https://blog.cloudflare.com/ai-platform/
← 返回所有文章
为 agent 量身做的卖点很锋利。Agent 要串一堆推理调用。其中一个供应商慢一下，每跳就是 500ms 而不是 50ms。一个请求挂了，下游全崩。Cloudflare 的说法：你要是串了 20 个调用，带自动故障转移的路由器比更花哨的 prompt 重要得多。换供应商改一行代码就行。
除了路由：集中的成本监控带自定义 metadata，可以按用户、工作流、团队拆开看花了多少。Resilient streaming——用户在生成中途断开，响应会缓存并续上。自定义模型可以通过 Replicate 的 Cog 容器部署，比自己搭 GPU 基础设施只为跑一个微调版 checkpoint 舒服多了。
值得盯着看，因为 Cloudflare 在赌 AI Gateway + Workers + R2 + Durable Objects 变成完整的 agent 栈——计算、存储、编排、推理——全在他们的边缘上。OpenRouter 和 Portkey 做的是路由那块，但 Cloudflare 占着 agent 跑的那个运行时。杠杆不一样。https://blog.cloudflare.com/ai-platform/
评论