Gemini 工具检索加 Mac 电脑操作:Google 把管道铺好了
Google 周四没发新模型,花了一整天铺 agent 的管道,两件事都值得知道。18:00 UTC,Gemini Interactions API 上线 Tool Retrieval 预览版。17:00 UTC,Mac 版 Gemini 应用加上了电脑操作。一个给工具多到塞不下的开发者,一个给想让 agent 替自己在桌面上点来点去的用户。原文:https://blog.google/innovation-and-ai/technology/developers-tools/gemini-api-tool-retrieval/ 和 https://blog.google/innovation-and-ai/products/gemini-app/computer-use-mac/
Tool Retrieval 说白了就三步。加一个 tool_search 工具,在想先搁着的工具上设 defer_loading 为 true,模型就只看到每个工具的名字和描述。需要用的时候按名字去要,API 把完整 schema 加载进来,模型再发起调用,全部在同一个请求里完成,每一步都能在 interaction.steps 里看到。不用自己建索引,搜索在服务端跑。被延迟的 schema 不进提示词开头,所以缓存前缀每轮都稳定。它也支持远程 MCP 服务器:把一个 mcp_server 工具标成延迟加载,这个服务器上的所有工具都按需加载。如果你有自己的工具注册表或者按用户的权限过滤,还有客户端模式,代价是每次搜索多一次往返。
这篇文章缺了什么:一个数字都没有。没有 token 省了多少,也没有 50 个、500 个工具时准确率怎么变。Google 说设计目标是减少输入 token、保持选择准确,方向对,但开发者最好自己测过再信。这也不是新点子,延迟加载工具在别的 agent 平台已经有了,包括 Claude Code 的工具搜索。重要的是,又一个大平台把工具列表膨胀当成平台问题来解决,而不是让你去调提示词。
Mac 上的电脑操作跑在一个隔离的后台窗口里,聊天框里有实时预览,你自己的屏幕和鼠标不被占用。你决定 Gemini 能碰哪些应用,每一步都看得到,随时能暂停,关键操作执行前要你批准。门槛不低:Apple Silicon,macOS Sequoia 15.0 以上,18 岁以上的个人账号,Google AI Plus、Pro、Ultra 用户,TechCrunch 说目前只有美国英文。跟 OpenAI、Anthropic 的桌面 agent 比,Google 来晚了,文章里也没有任何可靠性数据。
关于 Gemini 4 Neon,目前唯一的独立读数是 micjm 的 Agent Duel 排行榜给出的模型推算(HN 249):Neon Elo 1,066,Opus 5.5 是 1,078,OpenRouter 上测到每秒 127 个 token。这是推算,不是实测。把这周放在一起看,Google 是在围绕一个调度型模型搭整套设施:更便宜的上下文、应用白名单、审批关口。模型是头条,但 agent 能不能靠得住,取决于这些管道。
← 返回所有文章
Tool Retrieval 说白了就三步。加一个 tool_search 工具,在想先搁着的工具上设 defer_loading 为 true,模型就只看到每个工具的名字和描述。需要用的时候按名字去要,API 把完整 schema 加载进来,模型再发起调用,全部在同一个请求里完成,每一步都能在 interaction.steps 里看到。不用自己建索引,搜索在服务端跑。被延迟的 schema 不进提示词开头,所以缓存前缀每轮都稳定。它也支持远程 MCP 服务器:把一个 mcp_server 工具标成延迟加载,这个服务器上的所有工具都按需加载。如果你有自己的工具注册表或者按用户的权限过滤,还有客户端模式,代价是每次搜索多一次往返。
这篇文章缺了什么:一个数字都没有。没有 token 省了多少,也没有 50 个、500 个工具时准确率怎么变。Google 说设计目标是减少输入 token、保持选择准确,方向对,但开发者最好自己测过再信。这也不是新点子,延迟加载工具在别的 agent 平台已经有了,包括 Claude Code 的工具搜索。重要的是,又一个大平台把工具列表膨胀当成平台问题来解决,而不是让你去调提示词。
Mac 上的电脑操作跑在一个隔离的后台窗口里,聊天框里有实时预览,你自己的屏幕和鼠标不被占用。你决定 Gemini 能碰哪些应用,每一步都看得到,随时能暂停,关键操作执行前要你批准。门槛不低:Apple Silicon,macOS Sequoia 15.0 以上,18 岁以上的个人账号,Google AI Plus、Pro、Ultra 用户,TechCrunch 说目前只有美国英文。跟 OpenAI、Anthropic 的桌面 agent 比,Google 来晚了,文章里也没有任何可靠性数据。
关于 Gemini 4 Neon,目前唯一的独立读数是 micjm 的 Agent Duel 排行榜给出的模型推算(HN 249):Neon Elo 1,066,Opus 5.5 是 1,078,OpenRouter 上测到每秒 127 个 token。这是推算,不是实测。把这周放在一起看,Google 是在围绕一个调度型模型搭整套设施:更便宜的上下文、应用白名单、审批关口。模型是头条,但 agent 能不能靠得住,取决于这些管道。
评论