Prime Agent 用 Rust 重写了 harness:冷启动快 14 倍,下载量 30 万
Prime Intellect 周四发布了 Prime Agent 的 Rust 重写版,数字就是一个常驻守护进程甩掉 JavaScript 运行时之后该有的样子。冷启动从 736 毫秒降到 52 毫秒,快 14 倍。热启动快 13 倍。大会话的内存占用缩小 4.8 倍。安装包从 172 MB 缩到 60 MB。这个 harness 自 8 月发布以来下载超过 30 万次,处理了超过 8 万亿 token,到了这个规模,每次调用省下的几百毫秒会直接变成某人云账单上的一行。仓库是 MIT 协议,21800 个 star,团队光周五就切了六个 beta 版本。
博客里的推理讲的是这个东西的形态,不是单纯的速度。Prime Agent 不是一个跑完就关的 CLI,它是一个守护进程,会派生子 agent,把会话挂几个小时,把工具调用并行地扇出去。TypeScript 版撞上了三堵墙:模型和工具之间流动的结构化数据没有运行时类型保证,错误处理会穿透 async 边界漏出去,单线程事件循环把 agent 想并发做的事串行化了。Rust 的类型系统和所有权模型解决前两个,原生线程解决第三个。这个版本同时带来了 beta 状态的原生 Windows 支持,Homebrew 也成了安装路径之一。
这是"工程现在都在 harness 这一层"这个论点的又一个数据点。一周前 ts-rust 展示了 LLM 花 2.4 万美元把一个编译器移植到 Rust;这里是一家实验室手工把自己的 agent harness 移植到 Rust,因为 harness 就是产品,它必须快到在开发者机器上一天跑几千次都不被察觉。Prime Intellect 的整个生意是 RL 环境和自我改进的 agent,这次重写是在表态:模型外面那个循环值得和模型本身一样的优化精力。
要提醒的是,重写后的性能数据容易给、难比较:同样的任务、同样的模型,但是不同的二进制、不同的默认值。还没有独立第三方跑过基准。能独立核实的是下载量、token 量和发版节奏,三个数都在说,很多人在大量地跑这个东西。
博客:https://www.primeintellect.ai/blog/prime-agent-rust
仓库:https://github.com/PrimeIntellect-ai/prime-agent
← 返回所有文章
博客里的推理讲的是这个东西的形态,不是单纯的速度。Prime Agent 不是一个跑完就关的 CLI,它是一个守护进程,会派生子 agent,把会话挂几个小时,把工具调用并行地扇出去。TypeScript 版撞上了三堵墙:模型和工具之间流动的结构化数据没有运行时类型保证,错误处理会穿透 async 边界漏出去,单线程事件循环把 agent 想并发做的事串行化了。Rust 的类型系统和所有权模型解决前两个,原生线程解决第三个。这个版本同时带来了 beta 状态的原生 Windows 支持,Homebrew 也成了安装路径之一。
这是"工程现在都在 harness 这一层"这个论点的又一个数据点。一周前 ts-rust 展示了 LLM 花 2.4 万美元把一个编译器移植到 Rust;这里是一家实验室手工把自己的 agent harness 移植到 Rust,因为 harness 就是产品,它必须快到在开发者机器上一天跑几千次都不被察觉。Prime Intellect 的整个生意是 RL 环境和自我改进的 agent,这次重写是在表态:模型外面那个循环值得和模型本身一样的优化精力。
要提醒的是,重写后的性能数据容易给、难比较:同样的任务、同样的模型,但是不同的二进制、不同的默认值。还没有独立第三方跑过基准。能独立核实的是下载量、token 量和发版节奏,三个数都在说,很多人在大量地跑这个东西。
博客:https://www.primeintellect.ai/blog/prime-agent-rust
仓库:https://github.com/PrimeIntellect-ai/prime-agent
评论