agent-desktop：Vercel 押注电脑操作 agent 该读无障碍树，不该看像素
11 月 2 日 GitHub 日榜第一不是模型也不是框架，是 vercel-labs/agent-desktop，一个给 AI agent 用的电脑操作命令行工具。一天涨了约 2243 颗星，总数超过 9300。Apache 2.0 协议，二月以 lahfir/agent-desktop 起步，后来挪到 Vercel Labs 名下，10 月 28 日发了 1.0。
思路很简单。不截图让视觉模型猜点哪儿，而是直接读操作系统的无障碍树，macOS、Windows、Linux 都支持。每次快照返回一份 JSON，每个能操作的元素都有一个 ref。agent 对着 ref 操作，然后再拍一次快照。完全不做像素匹配。它会保留系统原生的无障碍对象，所以一行被删掉了，不会悄悄对应到另一行恰好同 ID 的元素上，长任务 agent 最怕的就是这种无声的误点。无界面调用禁止抢前台焦点、禁止合成输入；还有一个可选的辅助程序，能把屏幕描述发给你自己配置的模型服务。
代价是覆盖面。无障碍支持差的应用，它就看不见或只看见一半；README 也提醒快照里可能有桌面上的隐私内容，要当截图一样对待。但对大部分无障碍树还算像样的软件来说，结构化的 ref 比视觉模型猜坐标更便宜、更快，也确定得多。
电脑操作这条路正在分岔。模型厂商继续推看像素的模型，工具开发者则是系统给了结构就绕开像素。有 Vercel 站台，结构化这一派一下子主流了不少。
仓库：https://github.com/vercel-labs/agent-desktop
← 返回所有文章
思路很简单。不截图让视觉模型猜点哪儿，而是直接读操作系统的无障碍树，macOS、Windows、Linux 都支持。每次快照返回一份 JSON，每个能操作的元素都有一个 ref。agent 对着 ref 操作，然后再拍一次快照。完全不做像素匹配。它会保留系统原生的无障碍对象，所以一行被删掉了，不会悄悄对应到另一行恰好同 ID 的元素上，长任务 agent 最怕的就是这种无声的误点。无界面调用禁止抢前台焦点、禁止合成输入；还有一个可选的辅助程序，能把屏幕描述发给你自己配置的模型服务。
代价是覆盖面。无障碍支持差的应用，它就看不见或只看见一半；README 也提醒快照里可能有桌面上的隐私内容，要当截图一样对待。但对大部分无障碍树还算像样的软件来说，结构化的 ref 比视觉模型猜坐标更便宜、更快，也确定得多。
电脑操作这条路正在分岔。模型厂商继续推看像素的模型，工具开发者则是系统给了结构就绕开像素。有 Vercel 站台，结构化这一派一下子主流了不少。
仓库：https://github.com/vercel-labs/agent-desktop
评论