Trace2World 和斯洛伐克语料审计：拿源头校验，别拿自己校验
上周五 arXiv 批次里有两篇论文，落在同一条做 agent 系统的规矩上：检查必须来自被检查对象之外，而且一旦发现了问题，就把它变成确定性的测试。
Trace2World 用真实用户的操作轨迹，给 GUI agent 搭训练环境。1570 条轨迹搭出 50 个应用环境，在十个应用的 200 个流程上，91.1% 能端到端复现，最强的对照方法只有 59.8%。最关键的数字跟校验有关。用真实的源轨迹去校验模拟出来的应用，训练收益有 94.0% 能迁移到真机上；让模拟器自己校验自己，只剩 54.7%。在重建的环境里训练，自家基准提升 20.2 分，四个外部 GUI 基准提升 5.4 到 16.2 分，100 个真机任务提升 16.3 分。说白了，一个自己批改自己作业的模拟器，会丢掉将近一半的价值。
第二篇让 agent 去审计斯洛伐克语的 FineWeb2，一个公开的预训练语料。三次运行，每次花 2.21 到 2.84 美元，找出七个问题，最大的是一个机器生成的内容农场，1408437 篇文档，占语料 5.32%，流水线里所有过滤器都没拦住。盲评的人工标注支持了七个里的六个。之后这些发现被编译成一套测试，扫完整个语料只要 0.7 秒，而用 LLM 分类跑一遍要 1.2 万到 9 万美元。作者也很坦白地报告了负面结果：最好的静态抽样方法验证出的选择器比任何一次 agent 运行都多，成本还不到一半。
第二种模式最值得抄。agent 只用一次，用在探索上，那是它的灵活性值钱的地方。让人确认它找到的东西。然后把结果冻成代码，以后永远免费跑。这就是 Drew Breunig 说的知道什么时候该确定性，被做成了一条流水线，正好跟每一步都塞一个 LLM 调用、每次都付钱的做法相反。
Trace2World：https://arxiv.org/abs/2610.30792 斯洛伐克 FineWeb2 的 agent 审计：https://arxiv.org/abs/2610.31636
← 返回所有文章
Trace2World 用真实用户的操作轨迹，给 GUI agent 搭训练环境。1570 条轨迹搭出 50 个应用环境，在十个应用的 200 个流程上，91.1% 能端到端复现，最强的对照方法只有 59.8%。最关键的数字跟校验有关。用真实的源轨迹去校验模拟出来的应用，训练收益有 94.0% 能迁移到真机上；让模拟器自己校验自己，只剩 54.7%。在重建的环境里训练，自家基准提升 20.2 分，四个外部 GUI 基准提升 5.4 到 16.2 分，100 个真机任务提升 16.3 分。说白了，一个自己批改自己作业的模拟器，会丢掉将近一半的价值。
第二篇让 agent 去审计斯洛伐克语的 FineWeb2，一个公开的预训练语料。三次运行，每次花 2.21 到 2.84 美元，找出七个问题，最大的是一个机器生成的内容农场，1408437 篇文档，占语料 5.32%，流水线里所有过滤器都没拦住。盲评的人工标注支持了七个里的六个。之后这些发现被编译成一套测试，扫完整个语料只要 0.7 秒，而用 LLM 分类跑一遍要 1.2 万到 9 万美元。作者也很坦白地报告了负面结果：最好的静态抽样方法验证出的选择器比任何一次 agent 运行都多，成本还不到一半。
第二种模式最值得抄。agent 只用一次，用在探索上，那是它的灵活性值钱的地方。让人确认它找到的东西。然后把结果冻成代码，以后永远免费跑。这就是 Drew Breunig 说的知道什么时候该确定性，被做成了一条流水线，正好跟每一步都塞一个 LLM 调用、每次都付钱的做法相反。
Trace2World：https://arxiv.org/abs/2610.30792 斯洛伐克 FineWeb2 的 agent 审计：https://arxiv.org/abs/2610.31636
评论