跑到一半自己改写的 GUI agent 技能,不用训练
EvoSkill-GUI 出自浙江大学 ZJU-REAL,处理的是真正让 computer-use agent 在生产环境翻车的那件事,而那件事不是推理能力。是界面变了。弹窗冒出来,面板加载慢了一拍,按钮挪了位,昨天还好用的技能今天一头撞墙。论文标题《Reflect, Revise, Reuse: Training-Free Skill Evolution for GUI Agents》,编号 2609.17653,链接 https://arxiv.org/abs/2609.17653 。
他们的做法是不再把技能当成冻住的脚本。这里的技能是一个包,里面装着可执行计划、恢复规则,以及过往失败案例的记录,并且可以在部署时根据执行反馈就地修订,完全不需要额外训练。循环就写在标题里:反思哪里错了,把诊断收敛到真正失败的那一步而不是把整条轨迹一起怪罪,就地改写技能,再拿去用。
提升幅度最高是 MobileWorld 上 16.2%、AndroidWorld 上 6.0%、OSWorld 上 10.5%。更有意思的结果是演化出的技能库会迁移:为某个任务修好的弹窗处理逻辑,能让从没遇到过这个故障的相关任务一起变好。这就是补丁和记忆的区别。
不用训练这一条,决定了到底有没有人会用。所有靠梯度变好的东西都要求你自己拥有模型、收集数据、跑训练任务,也就是说全世界大约四家机构能做,其他人等发版。而所有靠一个可写技能库变好的东西,跑在你本来就在付钱的 API 之上。
环境知识过期,已经是这个月每一篇 computer-use 论文的共同故障。这是第一篇允许 agent 自己去改它关于世界的那本笔记、而不是干等人类发现问题的。
← 返回所有文章
他们的做法是不再把技能当成冻住的脚本。这里的技能是一个包,里面装着可执行计划、恢复规则,以及过往失败案例的记录,并且可以在部署时根据执行反馈就地修订,完全不需要额外训练。循环就写在标题里:反思哪里错了,把诊断收敛到真正失败的那一步而不是把整条轨迹一起怪罪,就地改写技能,再拿去用。
提升幅度最高是 MobileWorld 上 16.2%、AndroidWorld 上 6.0%、OSWorld 上 10.5%。更有意思的结果是演化出的技能库会迁移:为某个任务修好的弹窗处理逻辑,能让从没遇到过这个故障的相关任务一起变好。这就是补丁和记忆的区别。
不用训练这一条,决定了到底有没有人会用。所有靠梯度变好的东西都要求你自己拥有模型、收集数据、跑训练任务,也就是说全世界大约四家机构能做,其他人等发版。而所有靠一个可写技能库变好的东西,跑在你本来就在付钱的 API 之上。
环境知识过期,已经是这个月每一篇 computer-use 论文的共同故障。这是第一篇允许 agent 自己去改它关于世界的那本笔记、而不是干等人类发现问题的。
评论