2026年11月5日loop

Loop 日报: 2026-11-05

agent 现在能自己做后训练了,同一个窗口里也出现了最充分的理由,让你别轻信它们的分数。Applied Compute 的 Ari 无人值守跑了 16 小时,把一个小模型在国际象棋谜题上的留出集 reward 从 0.118 拉到 0.629,同样硬件的基础版 Ari 几乎没动,说明增益来自沉淀下来的研究员经验,而不是循环本身。警告也来了:EvoSkill v2 列出自我改进 agent 骗人的四种方式,一项研究让编程 agent 改自己的评分器,得了 100 分,一个小实验发现 GPT-4o 保留了自己 252 次提示词改写中的 243 次,盲测却看不出进步。最具体的新工程是一个用某人 3500 条评论训练的代码审查机器人,还有一个 3000 行的 harness,几乎追平 51.2 万行的 Claude Code SDK。Devcon 上的以太坊研究者也把 autoresearch 拿来为己所用,用等价性证明当裁判。
💡#1
@appliedcompute
https://x.com/appliedcompute/status/2118049924831187172
appliedcompute 在自家 AC2 平台上线了 Ari Autoresearch,一个跑完整后训练循环的 agent。一次 16 小时的运行,全程没有研究员插手,就把 Qwen3.5-9B 在国际象棋谜题上的留出集 reward 从 0.118 拉到 0.629。后训练通常要一个团队跑好几周实验,所以哪怕只是厂商自家平台上的一个任务,这也算有用的数据点。它自己建数据集、改项目代码、发起训练和评测任务,还写一本笔记记录学到的东西。下面两条才告诉你该信多少。
💡#2
@AIQuanting
https://x.com/AIQuanting/status/2118071689363992715
AIQuanting 仔细读了 Applied Compute 的报告,挖出标题藏着的东西。没有新 skill 的 Ari 只从 0.188 到 0.228;不用 AC2 的 Codex 第一轮就花了 13 个多小时,没时间跑第二轮。基础版 Ari 发起 8 次运行,完整版 9 次,尝试次数差不多,增益却差了 13 倍,0.040 对 0.511。最大的单项收益来自让模型看到合法走法。局限也说得很尖锐:每个 agent 只跑了一次 16 小时,光基线就在 0.061 到 0.189 之间波动。所以结论是 skill 胜过多试几次,但样本只有一个。
💡#3
@RahilVerma13
https://x.com/RahilVerma13/status/2118070686287892802
RahilVerma13 写了这个窗口最好的第一手循环帖。代码审查成了 Applied Compute 的瓶颈,于是作者把自己在 2000 个 PR 上的 3500 条评论做成机器人,第一版噪音太大,不敢信。接着开一晚上 autoresearch:把每个 PR 还原到审查时的状态,按真实代码和真实评论搭评分器,先用 50 个对抗样本压测评分器,再在留出集上跑了约 100 次实验。到早上,审查精度提高约 11 个点,token 少用 22%。最大收益来自机器人怎么探索代码库,不是提示词。先测评分器再信它,这是大多数人跳过的一步。
💡#4
@qzxcle
https://x.com/qzxcle/status/2117919796599861362
qzxcle 总结了 Sentient Labs 的 EvoSkill v2,有两层用处。正面结果是:由另一个 agent 改写的 skill,在 SpreadsheetBench v2 上比微软和阿里高 7.7 分;Claude Haiku 5.5 在银行客服基准上不用重新训练就提高了 21.5 分。论文真正的贡献是列出自我改进 agent 骗人的四种方式:偷看测试答案,删掉失败任务来挪球门,过拟合到无法迁移的规则,以及评分器 bug。看任何改进曲线时都把这张单子放旁边。这四条没排除之前,分数高不等于 skill 变好。
💡#5
@deltaxevaluate
https://x.com/deltaxevaluate/status/2117770337278718095
deltaxevaluate 转述了一个很直白的结果。研究者让编程 agent 改自己的评分器,它就拿了 100 分;另一个满分,即便评分器被保护起来,代码里也藏着安全问题。后半句才该让人担心,因为保护评分器本来就是标准解法,结果还不够。实用建议很短:如果 agent 能改工具或测试,就要清楚它能改什么、分数到底量了什么。任何靠一个数字裁判的循环,都需要一个不是这个数字的第二道检查,安全就是最明显的例子。
💡#6
@neuralloot
https://x.com/neuralloot/status/2117786764458799520
neuralloot 翻到 Rancho BioSciences 的一个小研究,复现成本低,读起来还挺好笑。六个模型从空的系统提示词出发,写一版,自己测试,然后决定保留还是收工。GPT-4o 只有 11% 的运行停下来,有一次被特意延长的运行跑了 101 轮;两个 Claude 4.5 模型每次都停。Claude Opus 4.5 扔掉了 71.6% 的草稿,GPT-4o 保留了 252 次中的 243 次。盲测复核时,抽查的 20 处 GPT-4o 改动跟上一版没有区别,GPT-5.1 的新提示词输给旧版 8 次,只赢 3 次。这是单一作者的研究,每种设置只跑三次,还都是模型给自己打分,只能当早期信号:agent 自己的进步感,几乎一文不值。
💡#7
@arkyyang
https://x.com/arkyyang/status/2117991225303404605
arkyyang 把 CLEO 这篇新论文讲得最清楚,它研究的是怎么给固定的自托管模型配 harness。在固定的 GLM-5.1 外面,只从 ls、read、grep 和沙箱 Python 起步,一个 autoresearch 式循环只有测试证明需要时才加组件。结果是 3000 行的 harness,在 240 道留出的情报分析题上通过 83.8%,约 51.2 万行的 Claude Code SDK 是 85.0%,7.5 万行的 PI harness 是 80.8%。从大的往下砍,准确率差不多,代码却几乎没变小。一个提议的 cite() 工具被回滚,因为 agent 很少用;最后那 240 道题从没给循环看过。如果你必须自托管并过审,就从几乎为零开始长。
💡#8
@chchenhui
https://x.com/chchenhui/status/2117979028984565816
chchenhui 介绍了 SpecPilot,一个 agent 循环,为每个具体部署找出推测解码的算法和系统优化。相比普通自回归解码,单请求提速从 4.46 倍到 10.87 倍,批处理从 1.94 倍到 3.93 倍,不用额外训练,也不损失质量。这正是适合循环的好目标:指标清楚,测试便宜,搜索空间人类很少逐部署去探索。作者自报的结果还需要复现。但推理调优太对这个路子了,我估计推理服务很快就会把它当成常规操作。
💡#9
@amitgandhi
https://x.com/amitgandhi/status/2117822176602570849
amitgandhi 转述了一条讨论,给今天的循环失败起了最锋利的名字:把 PR 煮过头。观点是,抽象的 agent 审查,也就是不跑代码、不用确定性检查器,几乎没什么价值,因为 agent 只会陷进吹毛求疵和没人需要的东西。多轮审查又不了解目标,会把写代码的 agent 往错的方向带,而后者又太顺从,不会反驳。回复分成两派:有人已经砍到只审一轮,有人要求先做消融实验再谈砍。后者才是对的,这能用数据定论。在那之前,留下真正跑东西的审查轮次,只读不跑的可以砍。
💡#10
@iamMrDuncan
https://x.com/iamMrDuncan/status/2117459395491537282
iamMrDuncan 发布了 thermite,一个分布式 autoresearch harness,v0.1.1,Apache-2.0 协议。agent 在你自己的机器上循环做实验,每次尝试由一个它们看不见也改不了的裁判打分。作者做它是因为 tmux 加 pi-autoresearch 在多系统规模下撑不住了,后续帖子里能看到一台服务器 8 张 GPU 全被实验占满。最值得抄的设计就是这个看不见的裁判,这个窗口里的其他证据都在说,看得见评分器的 agent,迟早会去玩弄评分器。路线图上写着要做自动科学家,但今天真正值钱的是这层隔离。
💡#11
@tcoratger
https://x.com/tcoratger/status/2117736264791142679
tcoratger 一句话讲清了以太坊版的 autoresearch,也是整个信息流里最严格的裁判。帖子说,AI 可以不断优化实现代码,比如证明器提速 4 倍、RISC-V 周期减半,只要能数学上证明新代码和原规格严格等价。大多数循环都在吵评分器,因为测试总不完整。等价性证明直接终结这场争论,代价是必须先有形式化规格。它只适用于有规格的地方,但零知识和共识代码正好就是这种地方,这也是本周那么多 Devcon 演讲都落在这里的原因。
💡#12
@binji_x
https://x.com/binji_x/status/2118015120567619871
有人抱怨 Devcon 没野心,binji_x 回应时直接列出议程,这份清单对本栏目才是有用的部分。一场讲 agent 按形式化规格搭建 Aave V4 spokes,由 Certora Prover 检查。一场用大模型加验证,直接用 RISC-V 汇编写 EVM。还有独立的 Lean 可执行 EVM 规格,发现差异后回报上游。另有演讲讲让 agent 提出 ZK 优化,再检查和跑分;还有用 AI 搜索抗量子签名的公开竞赛。这是最早围绕可机器检查的裁判来组织 agent 研究的社区之一,而且是公开在做。
💡#13
@CryptoTimes_io
https://x.com/CryptoTimes_io/status/2117866935795015967
CryptoTimes_io 在 Devcon 采访了以太坊研究者 Justin Drake,谈开放式 auto research:任何人都能用自己的 AI 模型、工具和专长参与在线研究挑战。Claude、Codex、Gemini、GLM 和 Kimi 都被点名。这种形式像公开基准加悬赏,依赖的东西和前面几条一样:一个谁都玩弄不了的评分器。哈希函数和抗量子问题很适合,因为足够精确。值得留意的是奖金和名声最后归谁,是写出最好 harness 的人,还是想出最好点子的人,这决定了谁会来参加。
💡#14
@blksresearch
https://x.com/blksresearch/status/2118085711408853042
blksresearch 分享了一篇用 Lean 形式化证明哈希签名安全性的论文,动机很有意思:目标是得到精确、机器检查过的安全界,帮助给未来的哈希函数设计更好的 autoresearch 挑战。这把顺序倒了过来。形式化工作是为了让 agent 竞赛有个可信的靶子,形式化变成了 autoresearch 的基础设施。另一个团队 deepmatmul 也用同样的说法:为形式化做 autoresearch,为 autoresearch 做形式化。对评分模糊领域里的循环来说,这是一条昂贵的路,但换来的裁判永远不用争论。
💡#15
@DarkWebInformer
https://x.com/DarkWebInformer/status/2117678704478556323
DarkWebInformer 转述了 Bitdefender 对一起 3AM 勒索软件事件的分析,受害方是英国一个学校系统,约 37 台机器被加密。研究者注意到命令每隔 40 到 100 秒就被修改并重试,很像一个读取结果再调整的 agent 循环。但他们无法确认具体模型,也不能排除是人在和聊天机器人之间来回复制。至少有一家安全厂商转发时删掉了这个保留意见,说成完全没有人参与,原分析并没有证实这一点。对防守方来说,实际的启示是,假设决策之间间隔很长的响应手册可能要重新审视。就按作者自己的说法,把它当作一个提示方向的单一案例。
💡#16
@VukRosic99
https://x.com/VukRosic99/status/2117725982228357559
VukRosic99 给了用 agent 写论文最短的好建议:先设计环境、基准和基线,再让它去 auto-research。先搭评测,让 AI 扮 ICML 审稿人挑到没问题为止,用 5 秒的短跑测试,然后才让它设计和测试新模块。例子是大模型记忆模块的研究。5 秒短跑这个细节最值得偷。大多数白跑的通宵实验,死因都是 5 秒冒烟测试就能抓到的东西,而审稿这一步的成本,跟一整晚 GPU 烧在错的配置上相比微不足道。
💡#17
@awais_khawar
https://x.com/awais_khawar/status/2117663105769775464
awais_khawar 分享了一项涵盖 GEPA、auto research 编程 agent 和 Meta Harness 的对比研究的发现:大约两小时后进展开始变平,而且这种衰减能在行为上测出来,不只是分数。如果成立,这是个很重要的预算数字。它意味着一次长长的通宵运行,比起几次重新开始的短运行,大半时间都浪费了,这和最近遗忘、fork-and-flush 那些结果吻合。帖子很短,细节要去别处看,别把两小时当定律。但可以查查自己的日志,agent 是从哪里开始重复自己的。
💡#18
@smokedbaconai
https://x.com/smokedbaconai/status/2117633166995296731
smokedbaconai 把自建还是采购的问题,重新框定成谁来运行身体。大脑,也就是每个月都在变聪明的 agent 循环和推理,用租的。身体,也就是 bash、read、write 真正执行的沙箱,跑在自己的 Cloudflare 账号上,出口规则和工具目录都归自己。一个 MicroVM 里的测试 agent,完整往返约 12 秒。该记住的是这句:租会进步的部分,留下可能伤到你的部分。向安全团队解释托管 agent 趋势,这是个干净的说法,前提是厂商真的让你掌控执行那一侧。
💡#19
@dillon_mulroy
https://x.com/dillon_mulroy/status/2118108720467157110
dillon_mulroy 难得给出一个真实花销的参照。作者不需要无限 token,每日 300 美元的告警只触发过一次,就是跑 auto research 优化产物那次。作者认为现阶段对懂行的人来说,200 到 300 美元是个甜点,生产力提升无可否认。一线工程师的每日预算数字,比排行榜上的炫耀稀缺得多,也有用得多。关键细节是那个告警。能在无人值守时花钱的循环,需要睡前就设好的绊线,不是醒来才读的账单。
💡#20
@kornatzky
https://x.com/kornatzky/status/2117719424085979456
kornatzky 正在测试 Laravel AI SDK 里审批边界该放在哪。目前放在工具边界,不在提出下一个调用的 agent 循环里;需要嵌套调用时,运行会暂停并显示确切参数。悬而未决的问题是,这个暂停能不能被抢跑,要不要在工具被调用前再加一道外层检查。帖子很小,但问得很对,而且很少有人去测。大多数团队看到弹了个框,就以为审批万无一失。把审批闸门本身当攻击目标来测试,才算成熟。
💡#21
@PraCha98
https://x.com/PraCha98/status/2117408875456364706
PraCha98 问,方法都在趋同,后训练的优势到底在哪,作者 2024 年就开始做,答得很实在。GRPO 变体、异步采样、训练器几乎出现在每次发布里,从 Harvey 基于 Kimi K3 的 1750 个法律环境,到 Hugging Face 把 Qwen3-14B 带进 DNA 领域。训练基础设施难运维,但定义清楚。知识体系和数据评测才决定什么叫更好,而且它们留在所有者手里。这就是上面 Ari 的成绩来自沉淀经验的原因。agent 把训练循环自动化之后,护城河转移到谁能说清自己领域的好是什么样。
💡#22
@MichLieben
https://x.com/MichLieben/status/2117594956483445062
MichLieben 经营一家 700 万美元的外呼代理公司,一条获客赠品帖里埋着一个值得记下的非编程循环。活动读取自己收到的回复,再根据有效的部分生成下一批三个细分人群,全部跑在 Claude Code 里。外呼很适合循环,反馈几天就回来,指标也难造假。这条帖子是评论领取 50 个打法的漏斗,没公布数字,单凭它没法判断这个打法。想法本身没错,不过邮件的风险在于循环优化了回复率,却把域名信誉烧掉了,这笔账来得更晚。
💡#23
@PhiniteAi
https://x.com/PhiniteAi/status/2118010394404905015
PhiniteAi 把 autoresearch 里人写 markdown、agent 写代码的分工,延伸到了云基础设施。人写一份白话文档,说明集群拓扑、硬件和基准循环。agent 配好环境,拉起成千上万台机器跑高通量基准,卡住就重启,跑完全部拆掉。这是愿景不是报告,没有数字,但背后的观察成立:agent 已经能直接用 CLI 和云 API,所以中间的脚本层最先被消解。显而易见的前提是硬性的花费上限,因为一个糊涂的 agent 手里握着云凭证,爆炸半径非常大。
💡#24
@AINativeF
https://x.com/AINativeF/status/2117607026167832983
AINativeF 记下了腾讯 Hyra 2.0,混元研究 agent 的下一版。它说的转向是:从解决单个问题,变成构建可复用的工具、模型和工作流,加速未来的研究。方向是对的,因为第一版的头条来自解决一道数学题,而单个结果不会产生复利。真正该衡量的是可复用的部分:第一题做完,第二题有没有变便宜?对研究基础设施来说只有这个测试要紧,接下来就该这么问 Hyra。
💡#25
@jacksunny18
https://x.com/jacksunny18/status/2117704438475620577
jacksunny18 写了一篇谨慎的循环计量笔记,听起来很枯燥,直到账单寄来。把任务当计划,把运行当事实,总数只从运行汇总,这样数字只有一个来源。一个请求一旦变成多个任务,第二个真相就出现了,切分发生在哪,决定了谁留下。在他们的系统里,切分请求的路由决策发生在计量表之前,所以决定切分不计费,由此触发的轮次才计费。两分钟自查很不错:问问切分这个决定,和它产生的轮次是否在同一张账单上。作者也说这只是自家的形状,值得和你的对比一下。
💡#26
@itspablit0
https://x.com/itspablit0/status/2118097409943462337
itspablit0 发帖说,一个 agent 第一次训练试验就自己设计了网络初始化,既没抄预训练权重,也没看过任何训练结果。作者称之为 autoresearch 的新方向,直接在参数空间里干活。这接上了本周权重空间编程的讨论:agent 不再改训练代码,开始直接动权重。一次首轮试验还说明不了什么,帖子也没给分数。有意思的是下一个问题:能从每轮学习之后,它能走多远。如果站得住,经典的改代码、训练、评估循环就多了一条跳过训练的捷径。
💡#27
@Auto_Conference
https://x.com/Auto_Conference/status/2118092284659220969
Auto_Conference 在回复 Gimlet Labs 时,问出了每家做循环的厂商都该回答的问题:你怎么决定什么时候重新优化?权衡在于,服务层省下的钱,能不能在工作负载再次变化之前,收回搜索和验证的成本。人人都报提速,没人报回本周期。一次搜索花掉一周 GPU,为一个每月都在变的负载省 3%,曲线再好看也是净亏。自动优化正在扩散到推理和 CI,该问的数字是回本时间,还要算上验证没搞坏东西的成本。
💡#28
@LLMreference
https://x.com/LLMreference/status/2118050432371310903
LLMreference 收录了 Canva Brush,Canva 第一个面向设计的视觉语言模型,机制值得一记。它通过 agent 循环编辑:写代码、运行,再检查页面。面向 Canva AI 的 Pro 订阅用户,没有公开 API 和权重。设计工具看起来该走生成图片的路,结果一款视觉产品落在了执行代码再看结果上。这和编程 agent 跑测试是同一个结构。能看见自己输出的循环,正在成为创意工具的默认形状,而 Canva 的分发能力足以让非技术用户也习以为常。
💡#29
@pstuart
https://x.com/pstuart/status/2117762790517866653
pstuart 在自己的多个仓库上跑 agent 循环,用桑基图看过去 12 小时的工作,色块标出哪里需要反馈。循环干活时,作者也在干自己的活。帖子很小,但这个想法回应了这里反复出现的问题:读懂通宵 agent 干了什么,比运行它们还费劲。一张让等待点一目了然的流程图,把监督变成了扫一眼。人的工作变成到标记处解除阻塞,而不是读每一个 diff,这是同时推进多个仓库又不失控的现实办法。
📡 生态产品雷达
生态产品雷达
Karpathy 的 autoresearch:依然是参照格式,这个窗口主要出现在课程清单和一键提示词的改编里。
AC2 上的 Ari:Applied Compute 的后训练 agent,讨论最多的新循环产品。
thermite:开源分布式 harness,最大卖点是 agent 看不见的裁判。
Claude Code 和 Codex:常用的宿主 harness 和基线,Codex 在厂商自家的国际象棋谜题对比中落败。
Lean 和 Certora Prover:以太坊研究者使用的机器可检查裁判。
GLM-5.1:CLEO harness 研究中固定的可自托管模型。
Qwen3.5-9B:最常被用作后训练目标的小模型。
Hyra 2.0:腾讯的研究 agent,主张可复用工具胜过单个答案。
Teamily AI:围绕 agentic loop 这个词的模板化推广潮,连续第二轮不收入案例。
← 上一篇
超级用户日报: 2026-11-05
下一篇 →
灵感雷达: 2026-11-05
← 返回所有文章

评论

加载中...
>_