PalmClaw:手机 agent 别再盯着屏幕看了
PalmClaw 在 HuggingFace papers 上拿了 1120 个赞,一篇 agent 框架论文能有这个数是很离谱的。想法一句话说得清:别让手机 agent 去点按钮了。
你见过的所有手机 agent 都是这么干活的:截屏,判断按钮在哪,点下去。人就是这么用手机的,所以看起来天经地义。但这玩意儿又慢又脆,因为你在用一个为眼睛和拇指设计的界面去驱动一台机器。PalmClaw 把这套扔了,直接把手机的真实能力做成 device tools 暴露出来,结构化操作,明确的执行边界。agent 不去找发送按钮在哪,它直接调 send。
数据比摘要更能说明问题。任务成功率 97.1%,最强的 GUI 派对手是 87.1%。相对最优基线提升 11.5%。还有一个应该让你停一下的:平均完成时间降低 94.9%。不是快 5%,是快二十倍。这就是"假装自己是根拇指"的代价,被量化出来了。
它跑在设备上,AGPLv3 开源,两步安装大概两分钟,实验用的是 API 调 DeepSeek-V4-Flash 而不是本地模型。作者来自香港理工大学和杭州迪安生物。
这事的意义不止在手机上:GUI agent 现在是全行业的默认假设,桌面端的 computer use 也一样。整个领域都认定了自动化软件的方法就是教模型当一个会点鼠标的人。PalmClaw 这个结果暗示那只是个过渡期的将就办法,不是终点。只要真的存在 API 或者工具接口,绕道走像素就是白交 20 倍的税。
https://github.com/ModalityDance/PalmClaw
← 返回所有文章
你见过的所有手机 agent 都是这么干活的:截屏,判断按钮在哪,点下去。人就是这么用手机的,所以看起来天经地义。但这玩意儿又慢又脆,因为你在用一个为眼睛和拇指设计的界面去驱动一台机器。PalmClaw 把这套扔了,直接把手机的真实能力做成 device tools 暴露出来,结构化操作,明确的执行边界。agent 不去找发送按钮在哪,它直接调 send。
数据比摘要更能说明问题。任务成功率 97.1%,最强的 GUI 派对手是 87.1%。相对最优基线提升 11.5%。还有一个应该让你停一下的:平均完成时间降低 94.9%。不是快 5%,是快二十倍。这就是"假装自己是根拇指"的代价,被量化出来了。
它跑在设备上,AGPLv3 开源,两步安装大概两分钟,实验用的是 API 调 DeepSeek-V4-Flash 而不是本地模型。作者来自香港理工大学和杭州迪安生物。
这事的意义不止在手机上:GUI agent 现在是全行业的默认假设,桌面端的 computer use 也一样。整个领域都认定了自动化软件的方法就是教模型当一个会点鼠标的人。PalmClaw 这个结果暗示那只是个过渡期的将就办法,不是终点。只要真的存在 API 或者工具接口,绕道走像素就是白交 20 倍的税。
https://github.com/ModalityDance/PalmClaw
评论