e2e:TesterArmy 的 agent 测试,跑通一次就不再调模型
周日 GitHub Trending 第一名是个测试框架,而它最聪明的地方恰恰是不用 AI 的时候。TesterArmy 开源的 e2e 是一个面向 Web 和移动端应用的端到端测试框架,Apache 2.0 协议,一天涨了 344 星,总数接近 3000。
测试用大白话写目标。agent.act(「把工作区升级到 Pro 套餐」),再 agent.assert(「发票预览显示按比例折算的金额」),同一个测试里还能接一个普通的 Playwright 风格选择器断言。agent 去驱动浏览器(通过 Playwright 跑 Chromium、Firefox、WebKit)或 iOS、安卓模拟器,把目标走通。
关键在缓存。一个 agent 步骤一旦被后面的断言验证通过,它的操作就会被录下来,下次运行直接回放,一次模型都不调,直到应用界面变了为止。所以你是每次 UI 改动付一次模型钱,而不是每次 CI 付一次。这正好解决了 AI 测试一直进不了正式流水线的两大毛病:又慢又贵,以及不确定性带来的随机失败。没有 agent 步骤的测试完全不需要模型。订阅、API key、本地模型都能接。
还有两个细节能看出这个品类往哪走。它带了一个决策模型执行器包,专门处理「有边界的语义操作和断言」,这是我们第一次看到决策模型这波浪潮落进测试工具。另外整套文档直接打包进 npm,coding agent 能从 node_modules 里离线读文档。等于这个框架本身就是给 agent 用来写测试的。
链接:github.com/tester-army/e2e 以及 e2e.tester.army/docs
← 返回所有文章
测试用大白话写目标。agent.act(「把工作区升级到 Pro 套餐」),再 agent.assert(「发票预览显示按比例折算的金额」),同一个测试里还能接一个普通的 Playwright 风格选择器断言。agent 去驱动浏览器(通过 Playwright 跑 Chromium、Firefox、WebKit)或 iOS、安卓模拟器,把目标走通。
关键在缓存。一个 agent 步骤一旦被后面的断言验证通过,它的操作就会被录下来,下次运行直接回放,一次模型都不调,直到应用界面变了为止。所以你是每次 UI 改动付一次模型钱,而不是每次 CI 付一次。这正好解决了 AI 测试一直进不了正式流水线的两大毛病:又慢又贵,以及不确定性带来的随机失败。没有 agent 步骤的测试完全不需要模型。订阅、API key、本地模型都能接。
还有两个细节能看出这个品类往哪走。它带了一个决策模型执行器包,专门处理「有边界的语义操作和断言」,这是我们第一次看到决策模型这波浪潮落进测试工具。另外整套文档直接打包进 npm,coding agent 能从 node_modules 里离线读文档。等于这个框架本身就是给 agent 用来写测试的。
链接:github.com/tester-army/e2e 以及 e2e.tester.army/docs
评论