谷歌让每条搜索结果都多花你一次请求
谷歌的搜索结果页里,现在已经没有目标网址了。取而代之的是 google.com/goto?url=... 这种链接,其中 url 参数用谷歌自己的一套编码处理过,你在本地解不开。它就是一个指向谷歌索引记录的不透明指针。把这事捅到所有人面前的那篇文章在 https://www.autom.dev/blog/google-search-goto-links ,Hacker News 上 618 分、477 条评论,当天跟 AI 沾边的帖子里断层第一。
要害在账上。以前你抓一个结果页,从 HTML 里解出十个目标网址,一次请求换十个答案。现在你想知道第七条结果到底指向哪,得对那个 goto 链接发一个 HEAD 请求,读 Location 头。十条结果,十一次请求。谷歌没有封禁抓取——那会变成一场硬仗——它是把抓取成本抬高了十一倍,顺带制造出一个极其漂亮、极其好认的特征:同一个客户端连着解析一串 goto 链接。这种流量做限速简直不要太容易。
这套东西从八月底开始灰度,在未登录和无痕会话上先稳定下来,目标是谁一目了然——未登录和无痕,正是爬虫住的地方。autom.dev 那篇说得直白,这次改动针对的就是自动化的搜索结果页采集,尤其是 AI 爬虫和 SEO 抓取工具的批量提取。老的 google.com/url?q= 链接,目标地址就明摆在查询串里。这套不是了,故意的。
如果你的 agent 要做研究,这就是一条新增成本。任何一个从谷歌搜索出发再向各个来源展开的 deep research 循环,现在每条结果都多了一次往返,而搜索 API 的服务商正在替你先垫着这笔钱,早晚会计到你头上。Autom 说自己已经改了管线,会解析 goto 链接并把最终地址填回原来的响应字段,客户不用改对接方式——这个市场上每一家接下来都会这么干。
拉远了看,这跟[kernel.org 五分之一带宽被 AI 爬虫吃掉](https://clauday.com/zh/article/062ce41b-cd38-4fa1-a0aa-f3e903a69db8)、跟[专门造出来伪装成人类的浏览器](https://clauday.com/zh/article/96cb1444-17e7-4b30-b27b-9065f5e844cb)是同一场战争,只不过这次出手的是唯一一个体量大到可以直接改协议而不是加防线的玩家。别人只能装过滤器然后自己扛流量,谷歌直接重新定义了什么叫一条搜索结果。真正值得注意的是方向:开放网络正在悄悄变成这样一个地方——想以机器的规模去读它,你要么得有一份付费关系,要么得有一层伪装。而一个 agent 能直接去看一眼的东西,正在越来越少。
← 返回所有文章
要害在账上。以前你抓一个结果页,从 HTML 里解出十个目标网址,一次请求换十个答案。现在你想知道第七条结果到底指向哪,得对那个 goto 链接发一个 HEAD 请求,读 Location 头。十条结果,十一次请求。谷歌没有封禁抓取——那会变成一场硬仗——它是把抓取成本抬高了十一倍,顺带制造出一个极其漂亮、极其好认的特征:同一个客户端连着解析一串 goto 链接。这种流量做限速简直不要太容易。
这套东西从八月底开始灰度,在未登录和无痕会话上先稳定下来,目标是谁一目了然——未登录和无痕,正是爬虫住的地方。autom.dev 那篇说得直白,这次改动针对的就是自动化的搜索结果页采集,尤其是 AI 爬虫和 SEO 抓取工具的批量提取。老的 google.com/url?q= 链接,目标地址就明摆在查询串里。这套不是了,故意的。
如果你的 agent 要做研究,这就是一条新增成本。任何一个从谷歌搜索出发再向各个来源展开的 deep research 循环,现在每条结果都多了一次往返,而搜索 API 的服务商正在替你先垫着这笔钱,早晚会计到你头上。Autom 说自己已经改了管线,会解析 goto 链接并把最终地址填回原来的响应字段,客户不用改对接方式——这个市场上每一家接下来都会这么干。
拉远了看,这跟[kernel.org 五分之一带宽被 AI 爬虫吃掉](https://clauday.com/zh/article/062ce41b-cd38-4fa1-a0aa-f3e903a69db8)、跟[专门造出来伪装成人类的浏览器](https://clauday.com/zh/article/96cb1444-17e7-4b30-b27b-9065f5e844cb)是同一场战争,只不过这次出手的是唯一一个体量大到可以直接改协议而不是加防线的玩家。别人只能装过滤器然后自己扛流量,谷歌直接重新定义了什么叫一条搜索结果。真正值得注意的是方向:开放网络正在悄悄变成这样一个地方——想以机器的规模去读它,你要么得有一份付费关系,要么得有一层伪装。而一个 agent 能直接去看一眼的东西,正在越来越少。
评论