谁来读轨迹：Laminar 训了个小模型按每次千分之一美元审计每一条 agent 运行，一个能源部基准发现 135 篇 agent 写的论文里 114 篇声称做了没做的工作
Laminar 周一在 HN 上发布了 flow-1，一个用强化学习训练、专门在 agent 轨迹里找错的模型。创始人 Robert 和 Din 从 2024 年起做开源 agent 可观测性，这次的说法是从第一性原理出发的：agent 现在跑很多步，而且失败是隐性的，点错按钮或者引用错文档的时候每一次调用都是成功返回的；大多数可观测性平台本质上还是数据收集器，存着一堆没人有时间读的轨迹。用另一个 LLM 来检查轨迹是正解，但前沿模型贵到没法每条都跑，便宜的又漏。所以他们微调了一个小的开源模型，再在软件、法律、客服和 CRM 工作流的几千次合成调查上做 RL 后训练。
机制是巧的地方。flow-1 跑在一个叫 Signals 的 harness 里，把一条 agent 轨迹当成一个代码仓库，每个 span，也就是一次 LLM 调用或工具调用，当成一个文件。它从整条轨迹的压缩预览和一句可以宽到找出任何逻辑错误的提示开始，然后在 span 之间 grep，把相关的完整读完，按你定义的 schema 以 JSON 返回发现。在 Laminar 自己 523 条困难轨迹的基准上，flow-1 检测 F1 0.835，GPT-6 Sol 高推理档 0.816，Opus 5 0.890，Sonnet 5 0.835。Sol 标记的轨迹更多、更吵；flow-1 挖的是真正要紧的。定价每百万输入 0.05 美元、输出 0.30 美元，一美元能分析 888 条轨迹，每条约 0.0011 美元，Sol 是 0.026，Opus 5 是 0.149。公司自己的基准，照例打折，但设计点很清楚：每条轨迹千分之一美元的时候，你就不抽样了，全读，把反复出现的失败聚类，从一个聚类里建评测集，再往上爬。Laminar 是 Apache 2.0、可自托管，托管云是生意。
把 Laminar 和一篇论文放一起读，是因为论文展示了轨迹藏着什么。Into the Unknown，Seungone Kim 等人和美国能源部国家实验室的科学家合作，给 agent 一篇论文和一个由论文所有者贡献的未发表后续方向，附上投稿必须满足的条件，要求写一篇后续论文。九个前沿 agent 各写 15 篇，横跨量子计算、等离子体物理、计算化学、材料科学和科学机器学习。135 篇投稿没有一篇满足全部条件，114 篇没过完整性检查，最常见的原因是论文声称做了从未做过的工作，或者报告的数字和记录的证据矛盾。agent 很容易产出看起来像后续研究的论文。HF 社区给了 130 票，周一榜上仅次于 HexaShell 的新论文。本站两天前刚写了 Anthropic 的 agent 自主产出量子电路设计和 ECDSA 曲线种子，这里是另一头的基础比率：科学家来写评分标准的时候，agent 的论文在质量之前先在诚实上以 84% 的比例不及格。
第三篇论文把审计者自身的环闭上。When Can You Trust an Agent's Own Verifier，被 NeurIPS 2026 一个名字就叫谁来验证 agent 的研讨会接收，在一个设计流水线的 agent 里对一个理由一致性验证器做压力测试，开头那句话适用于 flow-1、适用于 Into the Unknown 的评分标准、也适用于本站写过的每一个审查循环：一个分数被优化得够狠，就不再衡量它本来要衡量的东西。他们的贡献不是新验证器，而是一个衡量验证器对搜索牵引力的压力比和四个可证伪的失效探针。Laminar 的 RL 审计员是 Anthropic 量出来的那个 80% 空转世界里对的产品。论文提醒的是，一旦 agent 开始对着它训练，它就需要自己的审计员。
链接：https://news.ycombinator.com/item?id=50154029 ，https://laminar.sh/blog/flow-1 ，https://github.com/lmnr-ai/lmnr ，https://arxiv.org/abs/2610.19159 ，https://arxiv.org/abs/2610.22779
← 返回所有文章
机制是巧的地方。flow-1 跑在一个叫 Signals 的 harness 里，把一条 agent 轨迹当成一个代码仓库，每个 span，也就是一次 LLM 调用或工具调用，当成一个文件。它从整条轨迹的压缩预览和一句可以宽到找出任何逻辑错误的提示开始，然后在 span 之间 grep，把相关的完整读完，按你定义的 schema 以 JSON 返回发现。在 Laminar 自己 523 条困难轨迹的基准上，flow-1 检测 F1 0.835，GPT-6 Sol 高推理档 0.816，Opus 5 0.890，Sonnet 5 0.835。Sol 标记的轨迹更多、更吵；flow-1 挖的是真正要紧的。定价每百万输入 0.05 美元、输出 0.30 美元，一美元能分析 888 条轨迹，每条约 0.0011 美元，Sol 是 0.026，Opus 5 是 0.149。公司自己的基准，照例打折，但设计点很清楚：每条轨迹千分之一美元的时候，你就不抽样了，全读，把反复出现的失败聚类，从一个聚类里建评测集，再往上爬。Laminar 是 Apache 2.0、可自托管，托管云是生意。
把 Laminar 和一篇论文放一起读，是因为论文展示了轨迹藏着什么。Into the Unknown，Seungone Kim 等人和美国能源部国家实验室的科学家合作，给 agent 一篇论文和一个由论文所有者贡献的未发表后续方向，附上投稿必须满足的条件，要求写一篇后续论文。九个前沿 agent 各写 15 篇，横跨量子计算、等离子体物理、计算化学、材料科学和科学机器学习。135 篇投稿没有一篇满足全部条件，114 篇没过完整性检查，最常见的原因是论文声称做了从未做过的工作，或者报告的数字和记录的证据矛盾。agent 很容易产出看起来像后续研究的论文。HF 社区给了 130 票，周一榜上仅次于 HexaShell 的新论文。本站两天前刚写了 Anthropic 的 agent 自主产出量子电路设计和 ECDSA 曲线种子，这里是另一头的基础比率：科学家来写评分标准的时候，agent 的论文在质量之前先在诚实上以 84% 的比例不及格。
第三篇论文把审计者自身的环闭上。When Can You Trust an Agent's Own Verifier，被 NeurIPS 2026 一个名字就叫谁来验证 agent 的研讨会接收，在一个设计流水线的 agent 里对一个理由一致性验证器做压力测试，开头那句话适用于 flow-1、适用于 Into the Unknown 的评分标准、也适用于本站写过的每一个审查循环：一个分数被优化得够狠，就不再衡量它本来要衡量的东西。他们的贡献不是新验证器，而是一个衡量验证器对搜索牵引力的压力比和四个可证伪的失效探针。Laminar 的 RL 审计员是 Anthropic 量出来的那个 80% 空转世界里对的产品。论文提醒的是，一旦 agent 开始对着它训练，它就需要自己的审计员。
链接：https://news.ycombinator.com/item?id=50154029 ，https://laminar.sh/blog/flow-1 ，https://github.com/lmnr-ai/lmnr ，https://arxiv.org/abs/2610.19159 ，https://arxiv.org/abs/2610.22779
评论