Loop 日报: 2026-10-25
Anthropic 那篇「把子 agent 折回单一 agent 循环」的指南占满了这一期,读者也分成了两种。大多数人只转述标题:有客户提速约两倍;少数人去读了失败模式:折叠之后主 agent 不再去问负责物流的子 agent,这个故障两次运行里只出现一次,而决定要不要保留子 agent 的触发条件,是一套大多数团队根本没有的端到端评测。早就亲手拆掉自家 agent 团队的从业者说:组织架构图不是 agent 架构。autoresearch 这边,最好的结果也是最谨慎的那个:一次完全本地运行的 Flint 在车间调度问题上跑完,把最佳程序冻结,拿 20 道没见过的新题去测,20 道全部胜过基线,然后老实承认它只是重新发现了一条教科书里的派工规则。一篇出自 NanoGPT autoresearch 的论文给一种新的失败起了名字,叫 forking:在重复数据上训练得越多,验证集表现会突然变差。抗量子比特币挑战赛收官,单笔交易成本从约 320 美元降到 59 美元。还有一位实验室研究者一句话说清了风险:他们的循环挖出来的「发现」,有一半只是培养板位置造成的批次效应,模型却把它们叫作突破。
#1
@AiMechanic
https://x.com/AiMechanic/status/2113767946996810064
AiMechanic 用 @cong_ml 的 local-autoresearch 加 Flint 模型,在 M5 Max 和 GB10 上完全本地运行,攻车间调度问题,每轮 24 次尝试。最佳程序来自 GB10 带反馈的那一轮,在搜索用的题目上把排程缩短了 17.6%;冻结之后拿 20 道从没见过的新题去测,平均缩短 20.5%,20 道题全部更好。M5 Max 上一轮带反馈的同样迁移得很好,另一轮卡住了,增益在新题上消失;不带反馈的独立尝试大约在 11% 到 12%。最难得的是作者的老实交代:基线很弱,赢家只是重新发现了一条经典派工规则,即最早开工、剩余工作最多者优先,所以这是真实的迁移,不是新算法。
https://x.com/AiMechanic/status/2113767946996810064
AiMechanic 用 @cong_ml 的 local-autoresearch 加 Flint 模型,在 M5 Max 和 GB10 上完全本地运行,攻车间调度问题,每轮 24 次尝试。最佳程序来自 GB10 带反馈的那一轮,在搜索用的题目上把排程缩短了 17.6%;冻结之后拿 20 道从没见过的新题去测,平均缩短 20.5%,20 道题全部更好。M5 Max 上一轮带反馈的同样迁移得很好,另一轮卡住了,增益在新题上消失;不带反馈的独立尝试大约在 11% 到 12%。最难得的是作者的老实交代:基线很弱,赢家只是重新发现了一条经典派工规则,即最早开工、剩余工作最多者优先,所以这是真实的迁移,不是新算法。
#2
@AiMechanic
https://x.com/AiMechanic/status/2113854832029360455
在后续帖里,AiMechanic 补上了大多数 autoresearch 帖子都不提的那个数字:这个改进跑起来要花多少。最佳程序的排程平均比教科书规则短 6.1%,但每道题要 9.3 秒 CPU,教科书规则只要约 0.03 秒。一个更便宜的改良版缩短了 2.0%,CPU 开销和教科书规则差不多。可靠性说明同样重要:最佳程序在高负载下 20 个开发用例里有 13 个超过了 CPU 限额,之后 40 次封闭测试却全部通过,原因不明。这正是排行榜上一个数字会藏起来的那种不稳定。
https://x.com/AiMechanic/status/2113854832029360455
在后续帖里,AiMechanic 补上了大多数 autoresearch 帖子都不提的那个数字:这个改进跑起来要花多少。最佳程序的排程平均比教科书规则短 6.1%,但每道题要 9.3 秒 CPU,教科书规则只要约 0.03 秒。一个更便宜的改良版缩短了 2.0%,CPU 开销和教科书规则差不多。可靠性说明同样重要:最佳程序在高负载下 20 个开发用例里有 13 个超过了 CPU 限额,之后 40 次封闭测试却全部通过,原因不明。这正是排行榜上一个数字会藏起来的那种不稳定。
#3
@willzero
https://x.com/willzero/status/2114078195368579429
willzero 把 Anthropic 那篇「把子 agent 折回主循环」的指南总结得最有用,有用就在于把失败案例也留下了。理由是:每次交接都只返回一份摘要,细节一层层漏掉,像传话游戏;而 skill 和工具现在可以按需加载,提示词长不再是拆分的理由,Claude Code 给新模型的系统提示词就这样砍掉了八成以上。迁移顺序很具体:先建端到端评测,哪怕只有十个标准样例;先合并总是一起触发的子 agent;其余的一个一个改成 skill 加 MCP 工具,并且注意工具定义超过 30 到 50 个之后,选工具的能力就会变差。最好的细节是 Anthropic 自己的翻车:在一个示例客服 agent 里折叠掉一个子 agent 后,延迟降了,但有一个流程坏了,因为主 agent 自己握着查订单的工具,直接作答,再也不去问负责物流的子 agent 包裹什么时候到;而且这个故障两次运行里只出现了一次。
https://x.com/willzero/status/2114078195368579429
willzero 把 Anthropic 那篇「把子 agent 折回主循环」的指南总结得最有用,有用就在于把失败案例也留下了。理由是:每次交接都只返回一份摘要,细节一层层漏掉,像传话游戏;而 skill 和工具现在可以按需加载,提示词长不再是拆分的理由,Claude Code 给新模型的系统提示词就这样砍掉了八成以上。迁移顺序很具体:先建端到端评测,哪怕只有十个标准样例;先合并总是一起触发的子 agent;其余的一个一个改成 skill 加 MCP 工具,并且注意工具定义超过 30 到 50 个之后,选工具的能力就会变差。最好的细节是 Anthropic 自己的翻车:在一个示例客服 agent 里折叠掉一个子 agent 后,延迟降了,但有一个流程坏了,因为主 agent 自己握着查订单的工具,直接作答,再也不去问负责物流的子 agent 包裹什么时候到;而且这个故障两次运行里只出现了一次。
#4
@jacksunny18
https://x.com/jacksunny18/status/2114052569274458256
jacksunny18 越过摘要,读到了真正决定结果的那一段。Anthropic 列了三种要保留子 agent 的情况:上下文膨胀导致可测量的性能下降;需要并行、用完即弃的新上下文;以及因为提示词自相矛盾、agent 选不对工具。第一条是一个测量结果,不是一种架构,而同一篇文章描述了大多数部署的真实状况:评测各自为政、过度贴合局部子任务,没人对整体负责,管理层看着被稀释的分数做决定。所以折叠子 agent 做起来便宜、撤回来很难,因为撤回的信号是一套你多半没有的评测;作者的建议是在迁移之前先把整体分数建起来,要么由一个中心团队统一负责,要么加一个像真实用户那样跑完整个 agent 的端到端检查。
https://x.com/jacksunny18/status/2114052569274458256
jacksunny18 越过摘要,读到了真正决定结果的那一段。Anthropic 列了三种要保留子 agent 的情况:上下文膨胀导致可测量的性能下降;需要并行、用完即弃的新上下文;以及因为提示词自相矛盾、agent 选不对工具。第一条是一个测量结果,不是一种架构,而同一篇文章描述了大多数部署的真实状况:评测各自为政、过度贴合局部子任务,没人对整体负责,管理层看着被稀释的分数做决定。所以折叠子 agent 做起来便宜、撤回来很难,因为撤回的信号是一套你多半没有的评测;作者的建议是在迁移之前先把整体分数建起来,要么由一个中心团队统一负责,要么加一个像真实用户那样跑完整个 agent 的端到端检查。
#5
@AGTPinsights
https://x.com/AGTPinsights/status/2114075677825863827
AGTPinsights 把 Anthropic 单循环建议周边的其他证据收到了一起。incident 的 Lawrence Jones 把大约 15 个 agent 合并成一个,把它们的系统提示词改写成 skill,再给这个 agent 一个文件系统和 shell,说它更聪明、更快、更便宜,在他们的评测上全面超过旧架构;Graham Neubig 也转了一篇 OpenHands 的文章,标题就叫「别小看单 agent 系统」。Vals AI 的基准测试发现,agent 团队的成本是单 agent 的 1.8 到 5.1 倍,而分数差异只有一项具有统计显著性。反例也在同一篇里:另一项测试中,多 agent 的 Claude 工作流找出了 70 个预埋 bug 中的 66 个,单 agent 最多只找到 27 个,而这正是指南说该保留子 agent 的并行、新上下文场景。
https://x.com/AGTPinsights/status/2114075677825863827
AGTPinsights 把 Anthropic 单循环建议周边的其他证据收到了一起。incident 的 Lawrence Jones 把大约 15 个 agent 合并成一个,把它们的系统提示词改写成 skill,再给这个 agent 一个文件系统和 shell,说它更聪明、更快、更便宜,在他们的评测上全面超过旧架构;Graham Neubig 也转了一篇 OpenHands 的文章,标题就叫「别小看单 agent 系统」。Vals AI 的基准测试发现,agent 团队的成本是单 agent 的 1.8 到 5.1 倍,而分数差异只有一项具有统计显著性。反例也在同一篇里:另一项测试中,多 agent 的 Claude 工作流找出了 70 个预埋 bug 中的 66 个,单 agent 最多只找到 27 个,而这正是指南说该保留子 agent 的并行、新上下文场景。
#6
@janpfranke
https://x.com/janpfranke/status/2114049804108234847
janpfranke 九月就亲手拆掉了自己的 agent 团队,得出了同样的结论,这次的指南只是印证。值得记住的一句是:组织架构图不是 agent 架构,每一次交接都在丢上下文。子 agent 仍然有用武之地:并行的活、需要一个干净窗口来做审查、需要不同的权限;但「属于另一个业务领域」不在这张清单上。这是从业者版本的论证,来自一个先为多 agent 架构付过学费的人。
https://x.com/janpfranke/status/2114049804108234847
janpfranke 九月就亲手拆掉了自己的 agent 团队,得出了同样的结论,这次的指南只是印证。值得记住的一句是:组织架构图不是 agent 架构,每一次交接都在丢上下文。子 agent 仍然有用武之地:并行的活、需要一个干净窗口来做审查、需要不同的权限;但「属于另一个业务领域」不在这张清单上。这是从业者版本的论证,来自一个先为多 agent 架构付过学费的人。
#7
@omarsar0
https://x.com/omarsar0/status/2114057736363352127
omarsar0 仍在用子 agent,但主要用在复杂的研究任务上,通过动态工作流和 /goal 把并行的调研任务各自放进独立的上下文窗口。对大多数 agent 工作流来说,把子 agent 通过工具调用和 skill 折回主循环是合理的,因为新模型更有耐性、更会管理大上下文,记忆这件事上也在出现同样的规律。作者提醒的是现实问题:如果你已经大量使用子 agent,不能直接删掉,得先用成本和效率评测来决定要不要折、怎么折。工具调用过多、上下文膨胀、职责划分不清,依然是保留它们的正当理由。
https://x.com/omarsar0/status/2114057736363352127
omarsar0 仍在用子 agent,但主要用在复杂的研究任务上,通过动态工作流和 /goal 把并行的调研任务各自放进独立的上下文窗口。对大多数 agent 工作流来说,把子 agent 通过工具调用和 skill 折回主循环是合理的,因为新模型更有耐性、更会管理大上下文,记忆这件事上也在出现同样的规律。作者提醒的是现实问题:如果你已经大量使用子 agent,不能直接删掉,得先用成本和效率评测来决定要不要折、怎么折。工具调用过多、上下文膨胀、职责划分不清,依然是保留它们的正当理由。
#8
@LifeboatHQ
https://x.com/LifeboatHQ/status/2113945290679918777
LifeboatHQ 介绍了一篇直接出自 NanoGPT autoresearch 的论文,它给一种新的失败模式起了名字,叫 forking。模型在同一批数据上反复训练时,训练集表现持续变好,验证集表现却会突然变差,两条损失曲线在某些训练节点分叉,像叉子的齿。研究者在一个带 Engram 记忆机制的 DeepSeek 式模型上复现了这个现象:反复训练会强化对熟悉序列的预测,让没见过的续写变得更不可能,罕见上下文是主要来源;训练预算更大、记忆表更拥挤时,这个效应会减弱。对自动化研究的含义很直接:agent 找到的一个优化,可能在训练数据上看起来像进步,同时悄悄损害了泛化。
https://x.com/LifeboatHQ/status/2113945290679918777
LifeboatHQ 介绍了一篇直接出自 NanoGPT autoresearch 的论文,它给一种新的失败模式起了名字,叫 forking。模型在同一批数据上反复训练时,训练集表现持续变好,验证集表现却会突然变差,两条损失曲线在某些训练节点分叉,像叉子的齿。研究者在一个带 Engram 记忆机制的 DeepSeek 式模型上复现了这个现象:反复训练会强化对熟悉序列的预测,让没见过的续写变得更不可能,罕见上下文是主要来源;训练预算更大、记忆表更拥挤时,这个效应会减弱。对自动化研究的含义很直接:agent 找到的一个优化,可能在训练数据上看起来像进步,同时悄悄损害了泛化。
#9
@TTT_News_
https://x.com/TTT_News_/status/2113938460633653680
TTT_News_ 报道了与 Yukon Research、Eigen Labs 合办的 2 万美元抗量子比特币 autoresearch 挑战赛收官,参赛者既有开发者也有 AI agent。StarkWare 表示,抗量子比特币交易的成本在几周内从约 320 美元降到约 59 美元,降幅 82%。下一个目标是 10 美元左右。这是少数几个最后落在一个真实世界成本数字、而不是基准分数上的 autoresearch 挑战。
https://x.com/TTT_News_/status/2113938460633653680
TTT_News_ 报道了与 Yukon Research、Eigen Labs 合办的 2 万美元抗量子比特币 autoresearch 挑战赛收官,参赛者既有开发者也有 AI agent。StarkWare 表示,抗量子比特币交易的成本在几周内从约 320 美元降到约 59 美元,降幅 82%。下一个目标是 10 美元左右。这是少数几个最后落在一个真实世界成本数字、而不是基准分数上的 autoresearch 挑战。
#10
@TheWorldNews
https://x.com/TheWorldNews/status/2114026843527659689
TheWorldNews 晒出了一支 Grok Bot 队伍的总览:大约 44 个 bot 共用一台云电脑,大多是单一职责的 agent,各自写明「只做什么」和「不做什么」,通过共享文件夹、聊天或一个主路由交接工作。自我改进这一层写得很清楚:Fleet Nurse 审查各个定时任务和 bot 有没有成本泄漏、过时、重复,提出砍掉、保留、合并或观察的建议;Chief of Staff 把 skill 组合拿去和基线对比测试,把胜出的打包;Feedback Evolver 做 AutoResearch 式的改进,由一个审查者解释失败原因,配指标和自动回滚;Scout 每周日去找新能力。生产这边有带评分关卡和读者评审团的小说流水线,一个只有在多方证据支持下才把结论标为「已确立」的理工推导台,还有一组视频 bot,每支成片都要交给独立的 Frame Judge 检查响度和事实陈述。
https://x.com/TheWorldNews/status/2114026843527659689
TheWorldNews 晒出了一支 Grok Bot 队伍的总览:大约 44 个 bot 共用一台云电脑,大多是单一职责的 agent,各自写明「只做什么」和「不做什么」,通过共享文件夹、聊天或一个主路由交接工作。自我改进这一层写得很清楚:Fleet Nurse 审查各个定时任务和 bot 有没有成本泄漏、过时、重复,提出砍掉、保留、合并或观察的建议;Chief of Staff 把 skill 组合拿去和基线对比测试,把胜出的打包;Feedback Evolver 做 AutoResearch 式的改进,由一个审查者解释失败原因,配指标和自动回滚;Scout 每周日去找新能力。生产这边有带评分关卡和读者评审团的小说流水线,一个只有在多方证据支持下才把结论标为「已确立」的理工推导台,还有一组视频 bot,每支成片都要交给独立的 Frame Judge 检查响度和事实陈述。
#11
@_avichawla
https://x.com/_avichawla/status/2113954302901256597
_avichawla 实测了 HarnessRouter:一个开源的中间层,让 Grok Bot 把任务交给别的 agent harness,在它们各自的原生运行时里执行,支持 Codex、Hermes、Claude Code、DeepSeek Harness、Pi 等二十多种。作者让 Grok Bot 把一份客服工单 CSV 做成交互式看板,Grok Bot 把分析交给跑 Claude Sonnet 5.5 的 DeepSeek Harness,把结果交给 Codex 去搭建,最后在自己的浏览器里验收成品。这些干活的不是多开的 Grok Bot;Grok 始终是协调者,每个委派出去的任务都在独立会话里用自己的 harness、模型、工具和循环跑完。一套统一 harness 协议把会话、流式输出、文件、取消和失败处理都标准化了,接入任何 harness 都不用单独写集成。
https://x.com/_avichawla/status/2113954302901256597
_avichawla 实测了 HarnessRouter:一个开源的中间层,让 Grok Bot 把任务交给别的 agent harness,在它们各自的原生运行时里执行,支持 Codex、Hermes、Claude Code、DeepSeek Harness、Pi 等二十多种。作者让 Grok Bot 把一份客服工单 CSV 做成交互式看板,Grok Bot 把分析交给跑 Claude Sonnet 5.5 的 DeepSeek Harness,把结果交给 Codex 去搭建,最后在自己的浏览器里验收成品。这些干活的不是多开的 Grok Bot;Grok 始终是协调者,每个委派出去的任务都在独立会话里用自己的 harness、模型、工具和循环跑完。一套统一 harness 协议把会话、流式输出、文件、取消和失败处理都标准化了,接入任何 harness 都不用单独写集成。
#12
@miu21590
https://x.com/miu21590/status/2114095879632375944
miu21590 发布了 Octopus OS:一个 agent 可以在任务进行中自己修改 harness 的系统,自我改进不再是事后外挂的一个独立阶段。作者花了八个月追求「原生」的自我改进,最后放弃了常规的 agent 循环,设计出一套更像操作系统的架构,由 4.5 万行 Rust 内核撑起来。系统状态全部放在 JSON 文件里:目标本身就是 agent 工作的环境,带着输入、输出和它们会响应的自定义触发器,agent 工作时可以修改其中任何一项。桌面应用基于 Codex 源码做了三个月,现在已经能像普通 agent 一样使用,并且开源。
https://x.com/miu21590/status/2114095879632375944
miu21590 发布了 Octopus OS:一个 agent 可以在任务进行中自己修改 harness 的系统,自我改进不再是事后外挂的一个独立阶段。作者花了八个月追求「原生」的自我改进,最后放弃了常规的 agent 循环,设计出一套更像操作系统的架构,由 4.5 万行 Rust 内核撑起来。系统状态全部放在 JSON 文件里:目标本身就是 agent 工作的环境,带着输入、输出和它们会响应的自定义触发器,agent 工作时可以修改其中任何一项。桌面应用基于 Codex 源码做了三个月,现在已经能像普通 agent 一样使用,并且开源。
#13
@RohanArun
https://x.com/RohanArun/status/2113606869570756799
RohanArun 参加了一个 CUDA auto-research 挑战并上了排行榜,同时把团队开源的 auto-research agent harness 推荐给其他开发者。它实现了几种协调策略,包括 fork-and-flush、RSI-top 和用空闲 CPU 做 Lean 自动搜索;团队每完成一个赛道,就把负面结果和有意思的结果一起发到 autoresearch 文件夹里。同一串讨论里,作者还把另一位研究者的技巧直接加进了 harness。这是个小而有用的习惯:公开的 harness,加上一个公开记录「哪些没成」的文件夹。
https://x.com/RohanArun/status/2113606869570756799
RohanArun 参加了一个 CUDA auto-research 挑战并上了排行榜,同时把团队开源的 auto-research agent harness 推荐给其他开发者。它实现了几种协调策略,包括 fork-and-flush、RSI-top 和用空闲 CPU 做 Lean 自动搜索;团队每完成一个赛道,就把负面结果和有意思的结果一起发到 autoresearch 文件夹里。同一串讨论里,作者还把另一位研究者的技巧直接加进了 harness。这是个小而有用的习惯:公开的 harness,加上一个公开记录「哪些没成」的文件夹。
#14
@finch_shenq
https://x.com/finch_shenq/status/2113952742863737275
finch_shenq 在一条关于 AI 科学家的讨论下面,用最短的话说清了 autoresearch 在生物领域的失败方式:他们的 agent 循环挖出来的「发现」,一半只是培养板位置造成的批次效应,模型却把它们叫作突破。批次效应是由样本在板上的位置而不是生物学本身造成的规律,一个只盯着信号去优化的循环会很乐意把它找出来。这句话提醒大家:在湿实验数据里,验证者必须懂实验设计,而不只是看数字。
https://x.com/finch_shenq/status/2113952742863737275
finch_shenq 在一条关于 AI 科学家的讨论下面,用最短的话说清了 autoresearch 在生物领域的失败方式:他们的 agent 循环挖出来的「发现」,一半只是培养板位置造成的批次效应,模型却把它们叫作突破。批次效应是由样本在板上的位置而不是生物学本身造成的规律,一个只盯着信号去优化的循环会很乐意把它找出来。这句话提醒大家:在湿实验数据里,验证者必须懂实验设计,而不只是看数字。
#15
@iamMrDuncan
https://x.com/iamMrDuncan/status/2113509102156476510
iamMrDuncan 也在做 auto-research harness,讲了对自己最关键的一次硬件调整:从一块 GPU 由执行者和评判者共用,换成三块 GPU,一块给执行者,两块给验证评判。现在的重点是确保改动不会越界碰到不该碰的部分。在另一条回复里作者把原则说得更直白:自己做评测和 auto-research 系统时,从不允许系统修改自己的监控策略和告警。这是把三权分立做进了算力布局里的 autoresearch。
https://x.com/iamMrDuncan/status/2113509102156476510
iamMrDuncan 也在做 auto-research harness,讲了对自己最关键的一次硬件调整:从一块 GPU 由执行者和评判者共用,换成三块 GPU,一块给执行者,两块给验证评判。现在的重点是确保改动不会越界碰到不该碰的部分。在另一条回复里作者把原则说得更直白:自己做评测和 auto-research 系统时,从不允许系统修改自己的监控策略和告警。这是把三权分立做进了算力布局里的 autoresearch。
#16
@oodleai
https://x.com/oodleai/status/2113790079554785778
oodleai 分享了 Gaurav 在 Durable AI 大会上的一场分享,讲怎么在 Temporal 上搭会自我改进的 agent 循环,比喻是上学:agent 考试、被打分,及格了就升一级。具体成果来自一个客服 agent,它一直被静默的工具调用失败拖慢,这类失败不报错,只会让 agent 绕远路。跑完一轮改进循环后,这个 agent 快了 40%。静默失败很适合用这种循环来治,因为它们早在结果出问题之前就已经出现在调用轨迹里了。
https://x.com/oodleai/status/2113790079554785778
oodleai 分享了 Gaurav 在 Durable AI 大会上的一场分享,讲怎么在 Temporal 上搭会自我改进的 agent 循环,比喻是上学:agent 考试、被打分,及格了就升一级。具体成果来自一个客服 agent,它一直被静默的工具调用失败拖慢,这类失败不报错,只会让 agent 绕远路。跑完一轮改进循环后,这个 agent 快了 40%。静默失败很适合用这种循环来治,因为它们早在结果出问题之前就已经出现在调用轨迹里了。
#17
@russano
https://x.com/russano/status/2114084261729112144
russano 的建议是:合并一处提示词改动之前,先拿真实的生产轨迹回放测试。有个例子,提示词里加一句「行动前先确认」,动作安全性提高了 17 分,任务完成率也掉了 17 分。如果只在当初为它写的那几个用例上测,这个取舍根本看不见。这是子 agent 争论里那套评测纪律,用在了最小的改动上:一行字。
https://x.com/russano/status/2114084261729112144
russano 的建议是:合并一处提示词改动之前,先拿真实的生产轨迹回放测试。有个例子,提示词里加一句「行动前先确认」,动作安全性提高了 17 分,任务完成率也掉了 17 分。如果只在当初为它写的那几个用例上测,这个取舍根本看不见。这是子 agent 争论里那套评测纪律,用在了最小的改动上:一行字。
#18
@HarryNicholls
https://x.com/HarryNicholls/status/2113798632109478275
HarryNicholls 让 Grok 跑着一个 autoresearch 循环,专门优化自己的电影和剧集推荐模型。输入是作者的 Plex 观看记录和评分,一个用 Claude 做的网页应用每天推送一批新推荐。这是这套模式的一个小型消费级用法,但它具备 autoresearch 需要的两样东西:一个由用户打分自然产生的指标,以及一个不需要人去启动、自己一直在跑的循环。
https://x.com/HarryNicholls/status/2113798632109478275
HarryNicholls 让 Grok 跑着一个 autoresearch 循环,专门优化自己的电影和剧集推荐模型。输入是作者的 Plex 观看记录和评分,一个用 Claude 做的网页应用每天推送一批新推荐。这是这套模式的一个小型消费级用法,但它具备 autoresearch 需要的两样东西:一个由用户打分自然产生的指标,以及一个不需要人去启动、自己一直在跑的循环。
#19
@coderifts_dev
https://x.com/coderifts_dev/status/2114115525068358034
有人推出了一个能判断哪些测试「价值低」的测试审计工具,coderifts_dev 提出了最该提的反对意见:这种工具可能会削弱 agent 被考核的那把尺子本身。Karpathy 的 autoresearch 之所以把评估器放在 agent 改不到的地方,正是出于这个原因。对这类工具该问的问题是:它只是建议删,还是真的会删。这和「别让 agent 碰到自己的监控」是同一个原则,只是用在了测试套件上。
https://x.com/coderifts_dev/status/2114115525068358034
有人推出了一个能判断哪些测试「价值低」的测试审计工具,coderifts_dev 提出了最该提的反对意见:这种工具可能会削弱 agent 被考核的那把尺子本身。Karpathy 的 autoresearch 之所以把评估器放在 agent 改不到的地方,正是出于这个原因。对这类工具该问的问题是:它只是建议删,还是真的会删。这和「别让 agent 碰到自己的监控」是同一个原则,只是用在了测试套件上。
#20
@Jnatanh
https://x.com/Jnatanh/status/2114068428151480793
Jnatanh 一直没机会为了可解释性本身去做研究,赶上最近单义性与多义性的讨论,决定亲自上手。其中一个支线项目,是用递归的、autoresearch 式的循环给神经元贴标签:提出标签,拿激活去检验,修正,再重复。这很合适,因为神经元标签有便宜的自动评分,要标的单元也几乎无穷无尽。有意思的是,它正好落在近期研究发现的那个区域里:让 Claude 来提研究想法时,结果往往会落进可解释性。
https://x.com/Jnatanh/status/2114068428151480793
Jnatanh 一直没机会为了可解释性本身去做研究,赶上最近单义性与多义性的讨论,决定亲自上手。其中一个支线项目,是用递归的、autoresearch 式的循环给神经元贴标签:提出标签,拿激活去检验,修正,再重复。这很合适,因为神经元标签有便宜的自动评分,要标的单元也几乎无穷无尽。有意思的是,它正好落在近期研究发现的那个区域里:让 Claude 来提研究想法时,结果往往会落进可解释性。
#21
@ItsmeAjayKV
https://x.com/ItsmeAjayKV/status/2113868700545847697
ItsmeAjayKV 用同一个 3D 场景任务对比了 Kimi K3.1 Pro 和小得多的 DeepSeek-V4.1-Flash-1017,有意思的是两者的工作方式。Kimi 开了全套工具、agent 循环和高强度思考,耗时更长,还得改三轮,因为它把光束画成了圆锥体,全局光照把它当成实体,还给它投了影子。DeepSeek 不调工具、不用 harness,大约 12 分钟一次做完,剩下的问题也更小。作者的结论是:在 3D 生成上,套一个循环并不一定能胜过一个一次就做对的强模型。
https://x.com/ItsmeAjayKV/status/2113868700545847697
ItsmeAjayKV 用同一个 3D 场景任务对比了 Kimi K3.1 Pro 和小得多的 DeepSeek-V4.1-Flash-1017,有意思的是两者的工作方式。Kimi 开了全套工具、agent 循环和高强度思考,耗时更长,还得改三轮,因为它把光束画成了圆锥体,全局光照把它当成实体,还给它投了影子。DeepSeek 不调工具、不用 harness,大约 12 分钟一次做完,剩下的问题也更小。作者的结论是:在 3D 生成上,套一个循环并不一定能胜过一个一次就做对的强模型。
#22
@BharatJain
https://x.com/BharatJain/status/2114104114791715084
BharatJain 看着 Dream-1 VLA 把相机支架撞坏了,这在意料之中:模型是在双臂、三摄像头的设备上训练的,而作者用的是装在小车上的单条 SO-101 机械臂,只有一个腕部摄像头。作者列了三种解法:用同一个任务的 50 段示范去微调 Dream-1、Gr00T 和 Pi 0.5;或者给 Gemini Argon、Opus 5.5 低层工具和机器人配置,放进 agent 循环一直跑到机械臂完成任务,路径规划、逆运动学和危险姿态交给 ROS2 里的 MoveIt;又或者预先录好遥操作轨迹,由一个大模型调度器挑出合适的那段来回放,抓空了再让视觉语言模型 agent 介入。这清楚地画出了 agent 循环在今天机器人里的位置:叠在经典规划器之上,而不是取代它。
https://x.com/BharatJain/status/2114104114791715084
BharatJain 看着 Dream-1 VLA 把相机支架撞坏了,这在意料之中:模型是在双臂、三摄像头的设备上训练的,而作者用的是装在小车上的单条 SO-101 机械臂,只有一个腕部摄像头。作者列了三种解法:用同一个任务的 50 段示范去微调 Dream-1、Gr00T 和 Pi 0.5;或者给 Gemini Argon、Opus 5.5 低层工具和机器人配置,放进 agent 循环一直跑到机械臂完成任务,路径规划、逆运动学和危险姿态交给 ROS2 里的 MoveIt;又或者预先录好遥操作轨迹,由一个大模型调度器挑出合适的那段来回放,抓空了再让视觉语言模型 agent 介入。这清楚地画出了 agent 循环在今天机器人里的位置:叠在经典规划器之上,而不是取代它。
#23
@stas_sorokin_
https://x.com/stas_sorokin_/status/2113570788989194244
stas_sorokin_ 给两个编程 agent 修一个中位难度 bug 的过程计了时,发现模型之外的那层循环几乎可以忽略:在 Claude Code 里模型耗时占总时长的 96%,在 Codex 里占 99.9%。大家争论的 harness 开销,和等模型相比只是舍入误差。所以真正的杠杆是模型速度,这也是为什么笔记本上每秒 125 个以上 token 对 agent 工作有意义。在整整一周的 harness 讨论里,这是个有用的反向参照。
https://x.com/stas_sorokin_/status/2113570788989194244
stas_sorokin_ 给两个编程 agent 修一个中位难度 bug 的过程计了时,发现模型之外的那层循环几乎可以忽略:在 Claude Code 里模型耗时占总时长的 96%,在 Codex 里占 99.9%。大家争论的 harness 开销,和等模型相比只是舍入误差。所以真正的杠杆是模型速度,这也是为什么笔记本上每秒 125 个以上 token 对 agent 工作有意义。在整整一周的 harness 讨论里,这是个有用的反向参照。
#24
@verbal72
https://x.com/verbal72/status/2113695736193831067
verbal72 提了每个本地推理速度宣传都该被追问的问题。一个模型在 M4 Pro 上跑出每秒 125 个 token,测的是短上下文,可 agent 循环每拿到一次工具结果,提示词就变长一截。对 agent 工作真正有意义的,是同样的测试在 32K 上下文下的数字。一句回复,就改变了这期时间线上所有「每秒多少 token」图表的读法。
https://x.com/verbal72/status/2113695736193831067
verbal72 提了每个本地推理速度宣传都该被追问的问题。一个模型在 M4 Pro 上跑出每秒 125 个 token,测的是短上下文,可 agent 循环每拿到一次工具结果,提示词就变长一截。对 agent 工作真正有意义的,是同样的测试在 32K 上下文下的数字。一句回复,就改变了这期时间线上所有「每秒多少 token」图表的读法。
#25
@VarunGangal
https://x.com/VarunGangal/status/2114099223700607053
VarunGangal 认为,不只是论文和代码,证明、记号和其他更软的产物也都需要 agent 来审;接着点出了「直接分享种子让 auto-research 去执行」这个思路的问题。循环会掉进局部区域,而为了推理和探索质量又必须用较高的采样温度,这让 auto-research 过程很难复现,也很难保证需要多少样本、跑多久才够。更有挑衅性的一点是:研究本来就是造一个更小、更不混乱的现实世界版本来反复试验,也许现在需要把这个隐含的小世界做大。
https://x.com/VarunGangal/status/2114099223700607053
VarunGangal 认为,不只是论文和代码,证明、记号和其他更软的产物也都需要 agent 来审;接着点出了「直接分享种子让 auto-research 去执行」这个思路的问题。循环会掉进局部区域,而为了推理和探索质量又必须用较高的采样温度,这让 auto-research 过程很难复现,也很难保证需要多少样本、跑多久才够。更有挑衅性的一点是:研究本来就是造一个更小、更不混乱的现实世界版本来反复试验,也许现在需要把这个隐含的小世界做大。
#26
@awais_khawar
https://x.com/awais_khawar/status/2114027889549000939
awais_khawar 提出了很少有开发者在问的合规问题。按欧盟 AI 法案,自我改进的 agent 毫无疑问属于 AI 系统,因为第 3(1) 条的定义涵盖了「部署后可能表现出适应性」的系统。帖子标题给的实际建议是:事先批准它能学什么,否则每一次意外都会让你被认定为提供方。对任何在生产环境里上线一个会改自己记忆、工具或提示词的循环的人来说,变更日志同时也是一份监管记录。
https://x.com/awais_khawar/status/2114027889549000939
awais_khawar 提出了很少有开发者在问的合规问题。按欧盟 AI 法案,自我改进的 agent 毫无疑问属于 AI 系统,因为第 3(1) 条的定义涵盖了「部署后可能表现出适应性」的系统。帖子标题给的实际建议是:事先批准它能学什么,否则每一次意外都会让你被认定为提供方。对任何在生产环境里上线一个会改自己记忆、工具或提示词的循环的人来说,变更日志同时也是一份监管记录。
#27
@DaveGoehrig
https://x.com/DaveGoehrig/status/2114006877826584852
DaveGoehrig 在消息总线上干了十年,最近四年做大模型 agent 框架,现在基于 mesgd 搭会自我改进的 agent 集群。每个 agent 只拿到特定的数据授权,PKI 加密限定谁能读一条消息,编排 agent 和安全 agent 动态管理访问权限。作者的观点是:对 agent 来说,身份不过是持有某些密钥,所以集群必须能随时轮换密钥、吊销行为异常的节点。一个授权设计向导能让 agent 根据总线上一条真实消息和一段纯文本用例,起草基于角色的权限,最终版本由人批准。另有一个 Erlang 沙箱,让 agent 自己写类似 Lambda 的函数,只能挂接白名单里的模块、函数和参数个数组合,也只能读写它原本权限范围内的数据。
https://x.com/DaveGoehrig/status/2114006877826584852
DaveGoehrig 在消息总线上干了十年,最近四年做大模型 agent 框架,现在基于 mesgd 搭会自我改进的 agent 集群。每个 agent 只拿到特定的数据授权,PKI 加密限定谁能读一条消息,编排 agent 和安全 agent 动态管理访问权限。作者的观点是:对 agent 来说,身份不过是持有某些密钥,所以集群必须能随时轮换密钥、吊销行为异常的节点。一个授权设计向导能让 agent 根据总线上一条真实消息和一段纯文本用例,起草基于角色的权限,最终版本由人批准。另有一个 Erlang 沙箱,让 agent 自己写类似 Lambda 的函数,只能挂接白名单里的模块、函数和参数个数组合,也只能读写它原本权限范围内的数据。
#28
@timscheuer
https://x.com/timscheuer/status/2113948114159542336
timscheuer 的观点是,增长与销售工作的新优势,是把每个转化指标都变成一个 agent 循环,一直跑到某个可验证的条件达成为止。例子很具体:每天跑循环去提高外呼回复率、增加 SEO 和生成式搜索的曝光、保持邮件送达率评分健康。人的工作变成搭好基础设施,让 Claude Code 可以不被打断地运行,然后别挡它的路。这是 autoresearch 从机器学习指标走向销售指标,而销售的打分函数本来就摆在每一块看板上。
https://x.com/timscheuer/status/2113948114159542336
timscheuer 的观点是,增长与销售工作的新优势,是把每个转化指标都变成一个 agent 循环,一直跑到某个可验证的条件达成为止。例子很具体:每天跑循环去提高外呼回复率、增加 SEO 和生成式搜索的曝光、保持邮件送达率评分健康。人的工作变成搭好基础设施,让 Claude Code 可以不被打断地运行,然后别挡它的路。这是 autoresearch 从机器学习指标走向销售指标,而销售的打分函数本来就摆在每一块看板上。
#29
@i_amanchadha
https://x.com/i_amanchadha/status/2113777708039831607
i_amanchadha 和 Vinija Jain 合写了一份 harness 工程入门,把 harness 当成和模型并列的能力变量,而不是管道工程。内容从 Karpathy 的 autoresearch、围绕固定模型做的 meta-harness 优化,一路讲到基于执行轨迹的自我修改、达尔文哥德尔机,以及用于测试时适应的 harness 学习。后半部分讲提案 agent、评估器和验证关卡,持久记忆与执行轨迹,回归测试,在评估不可修改前提下的沙箱化自我修改,以及在保留归因的同时扩大搜索规模。这是本周那个论点的书单版本:模型周围那套系统,决定了它能做成什么。
https://x.com/i_amanchadha/status/2113777708039831607
i_amanchadha 和 Vinija Jain 合写了一份 harness 工程入门,把 harness 当成和模型并列的能力变量,而不是管道工程。内容从 Karpathy 的 autoresearch、围绕固定模型做的 meta-harness 优化,一路讲到基于执行轨迹的自我修改、达尔文哥德尔机,以及用于测试时适应的 harness 学习。后半部分讲提案 agent、评估器和验证关卡,持久记忆与执行轨迹,回归测试,在评估不可修改前提下的沙箱化自我修改,以及在保留归因的同时扩大搜索规模。这是本周那个论点的书单版本:模型周围那套系统,决定了它能做成什么。
#30
@Inside_Engines
https://x.com/Inside_Engines/status/2113701288911208874
Inside_Engines 把视线拉到了 agent 循环的硬件那一侧。Modal 表示,换到英伟达 Vera CPU 之后,它的 agent 完成的工作量大约翻了一倍;Modal 刚以 157.5 亿美元估值融了 7.5 亿美元,英伟达希望本财年 Vera 收入至少达到 200 亿美元。头条都给了 GPU,但跑 agent 循环的 CPU,也就是模型调用之间那些工具调用、读文件、跑测试的活,正在变成一个独立的市场。
https://x.com/Inside_Engines/status/2113701288911208874
Inside_Engines 把视线拉到了 agent 循环的硬件那一侧。Modal 表示,换到英伟达 Vera CPU 之后,它的 agent 完成的工作量大约翻了一倍;Modal 刚以 157.5 亿美元估值融了 7.5 亿美元,英伟达希望本财年 Vera 收入至少达到 200 亿美元。头条都给了 GPU,但跑 agent 循环的 CPU,也就是模型调用之间那些工具调用、读文件、跑测试的活,正在变成一个独立的市场。
📡 生态产品雷达
生态产品雷达
Claude Code 和 Codex:每一组对比里的两套 harness,从模型耗时占比到子 agent 折叠之争。
Grok Bot:一支 44 个 bot 的自我改进队伍的协调者,也是 HarnessRouter 里的路由者。
Anthropic 子 agent 折叠指南:这一期大部分讨论围绕的单循环建议。
Flint 和 local-autoresearch:车间调度迁移实验背后,完全本地运行的模型和「提出、测试、改进」循环。
Hermes、Pi 和 DeepSeek Harness:HarnessRouter 和各项基准测试里用来分派任务的其他 harness。
Kimi K3.1 Pro 和 DeepSeek V4.1 Flash:在 3D 生成上对比的一对,一个带 agent 循环,一个不带。
NanoGPT:发现 forking 失败模式的 autoresearch 试验场。
Temporal:给客服 agent 搭自我改进循环用的持久执行层。
Opus 5.5 和 Gemini Argon:在经典规划器之上做机器人 agent 控制的模型。
Claude Code 和 Codex:每一组对比里的两套 harness,从模型耗时占比到子 agent 折叠之争。
Grok Bot:一支 44 个 bot 的自我改进队伍的协调者,也是 HarnessRouter 里的路由者。
Anthropic 子 agent 折叠指南:这一期大部分讨论围绕的单循环建议。
Flint 和 local-autoresearch:车间调度迁移实验背后,完全本地运行的模型和「提出、测试、改进」循环。
Hermes、Pi 和 DeepSeek Harness:HarnessRouter 和各项基准测试里用来分派任务的其他 harness。
Kimi K3.1 Pro 和 DeepSeek V4.1 Flash:在 3D 生成上对比的一对,一个带 agent 循环,一个不带。
NanoGPT:发现 forking 失败模式的 autoresearch 试验场。
Temporal:给客服 agent 搭自我改进循环用的持久执行层。
Opus 5.5 和 Gemini Argon:在经典规划器之上做机器人 agent 控制的模型。
评论