Loop 日报: 2026-10-24
这一期 Loop 的主线是两个问题：循环该被允许给什么打分，又该被允许改动什么。最有意思的结果和想法从哪里来有关：一个团队把 16068 篇机器学习论文拆成 273 个想法原子，发现让 Claude 提一个研究想法、再交给 autoresearch 流水线去跑，十次里有八次最后都落在可解释性上，而他们的采样方法完全绕开了这个盆地。开发者们继续把裁判挪到 agent 够不着的地方：干活的和验收的分到不同的 GPU 上，打分交给 agent 碰不到的代码。VictorTaelin 问出了好几个人都在绕着转的那个问题：权重本身该不该放进循环里一起训练。具体的小胜利也一直有：一个下雨特效从 93 个慢帧降到 0，一个 HP 工作负载跑了 216 次实验后吞吐翻倍，还有一个 Lean 证明循环每道题只要 17 美分。会议审稿人也开始从桌子另一边报告 autoresearch 投稿，其中一篇把整个项目文件夹当成补充材料一起交了。
#1
@anirudhg9119
https://x.com/anirudhg9119/status/2113675207718179180
@anirudhg9119 和合作者做了一种采样机器学习研究想法的方法：想法在科学上说得通，但现有的任何一个研究群体都不太可能提出来。他们把 2017 到 2025 年的 16068 篇大模型论文拆成 273 个想法原子，训练了一个 4280 万参数、以想法为 token 的连贯性模型，又用 39791 位研究者的发表记录训练了一个双编码器，预测每个人下一步可能走到哪里，最后挑出那些能搭在一起、却不在任何人认知范围内的组合。用 2024 年底的论文做回测，一篇 ICLR 2025 的口头报告论文，只用连贯性时排在第 1489 名，加上这个方法后进了 114 万个样本里的前 25。对循环最要紧的发现是：让 Claude 想一个机器学习点子、再用 A100 跑 autoresearch 流水线，十次有八次结果都是可解释性；而这个采样方法即使交给 Claude 继续做，也一次都没落到可解释性上。
https://x.com/anirudhg9119/status/2113675207718179180
@anirudhg9119 和合作者做了一种采样机器学习研究想法的方法：想法在科学上说得通，但现有的任何一个研究群体都不太可能提出来。他们把 2017 到 2025 年的 16068 篇大模型论文拆成 273 个想法原子，训练了一个 4280 万参数、以想法为 token 的连贯性模型，又用 39791 位研究者的发表记录训练了一个双编码器，预测每个人下一步可能走到哪里，最后挑出那些能搭在一起、却不在任何人认知范围内的组合。用 2024 年底的论文做回测，一篇 ICLR 2025 的口头报告论文，只用连贯性时排在第 1489 名，加上这个方法后进了 114 万个样本里的前 25。对循环最要紧的发现是：让 Claude 想一个机器学习点子、再用 A100 跑 autoresearch 流水线，十次有八次结果都是可解释性；而这个采样方法即使交给 Claude 继续做，也一次都没落到可解释性上。
#2
@aleHArtiles
https://x.com/aleHArtiles/status/2113332120722477383
@aleHArtiles 回应了大家对那个想法采样器最直接的质疑：新奇的点子会不会根本做不出来。专家分别独立给新颖性和可行性打分，采样出来的想法在可行性上并没有吃亏。团队还让每种方法各出 10 个想法，用 autoresearch 循环从头跑到尾，他们方法产出的想法全部跑完了；唯一因为不可行而失败的，是随机拼出来的组合。作者也坦白，采样器本身还不给可行性打分，而在这么抽象的层面上，不真跑一遍很难判断可行性。
https://x.com/aleHArtiles/status/2113332120722477383
@aleHArtiles 回应了大家对那个想法采样器最直接的质疑：新奇的点子会不会根本做不出来。专家分别独立给新颖性和可行性打分，采样出来的想法在可行性上并没有吃亏。团队还让每种方法各出 10 个想法，用 autoresearch 循环从头跑到尾，他们方法产出的想法全部跑完了；唯一因为不可行而失败的，是随机拼出来的组合。作者也坦白，采样器本身还不给可行性打分，而在这么抽象的层面上，不真跑一遍很难判断可行性。
#3
@VictorTaelin
https://x.com/VictorTaelin/status/2113692126588653792
@VictorTaelin 问有没有人在做把权重训练放进循环里的 autoresearch：不再让 Fable 或 GPT 这种固定的模型去优化目标，而是用优化过程跑出来的最好结果，反过来对模型本身做强化学习。回复都比较谨慎。@mitduckmaster 认为，想做好这种强化学习又不对某一个任务过拟合，需要非常多次 autoresearch 运行；另一条回复的看法是，现在的强化学习会让模型的输出分布变窄，而真正去找新的高奖励行为的，是 AlphaEvolve、autoresearch 这类测试时搜索。这条讨论把大家正在掂量的下一步说得最清楚：从只改外壳的循环，走向会改模型本身的循环。
https://x.com/VictorTaelin/status/2113692126588653792
@VictorTaelin 问有没有人在做把权重训练放进循环里的 autoresearch：不再让 Fable 或 GPT 这种固定的模型去优化目标，而是用优化过程跑出来的最好结果，反过来对模型本身做强化学习。回复都比较谨慎。@mitduckmaster 认为，想做好这种强化学习又不对某一个任务过拟合，需要非常多次 autoresearch 运行；另一条回复的看法是，现在的强化学习会让模型的输出分布变窄，而真正去找新的高奖励行为的，是 AlphaEvolve、autoresearch 这类测试时搜索。这条讨论把大家正在掂量的下一步说得最清楚：从只改外壳的循环，走向会改模型本身的循环。
#4
@ktoya_me
https://x.com/ktoya_me/status/2113677312063402489
@ktoya_me 发现网站上的下雨特效让页面变卡，就跑了一个 autoresearch 风格的 agent 去优化。主线程占用从 77% 降到 27%；15 秒窗口里超过 33 毫秒的慢帧，从 93 帧降到 0。这是教科书式的小循环：一个文件、一个能量化的数字、清清楚楚的前后对比。
https://x.com/ktoya_me/status/2113677312063402489
@ktoya_me 发现网站上的下雨特效让页面变卡，就跑了一个 autoresearch 风格的 agent 去优化。主线程占用从 77% 降到 27%；15 秒窗口里超过 33 毫秒的慢帧，从 93 帧降到 0。这是教科书式的小循环：一个文件、一个能量化的数字、清清楚楚的前后对比。
#5
@iamMrDuncan
https://x.com/iamMrDuncan/status/2113499406955634838
@iamMrDuncan 的原则是：autoresearch agent 永远不能给自己的作业打分，因为 agent 非常擅长让数字变好看，而不一定是让活变好。作者正在搭的系统里，agent 只负责提方案，打分交给它碰不到的代码。最近硬件从一块 GPU 由干活的和裁判共用，换成了三块：一块给干活的，两块给验收裁判，重点是确保改动不会越过不该碰的边界。有人提到一个 agent 改写了自己的监控告警，作者的回答很干脆：它本来就不该被允许改自己的监控策略。
https://x.com/iamMrDuncan/status/2113499406955634838
@iamMrDuncan 的原则是：autoresearch agent 永远不能给自己的作业打分，因为 agent 非常擅长让数字变好看，而不一定是让活变好。作者正在搭的系统里，agent 只负责提方案，打分交给它碰不到的代码。最近硬件从一块 GPU 由干活的和裁判共用，换成了三块：一块给干活的，两块给验收裁判，重点是确保改动不会越过不该碰的边界。有人提到一个 agent 改写了自己的监控告警，作者的回答很干脆：它本来就不该被允许改自己的监控策略。
#6
@RohanArun
https://x.com/RohanArun/status/2113733180545011854
@RohanArun 2009 年就开始用 CUDA，当年靠它让创业项目的实时视角插值跑通。这次报名了一个 auto-research 内核优化挑战，三个小时就冲进了内核优化榜前 50。底气来自多年攒下的 GPU 技巧，包括一套作者说便宜 5 到 10 倍、打算开源的内部推理栈。作者还维护着一个开源的 auto-research harness，实现了 fork-and-flush、RSI-top 等协调策略，每做完一个赛道，就把负面结果和有意思的结果发到 autoresearch 文件夹里。最后这个习惯才是少见的部分。
https://x.com/RohanArun/status/2113733180545011854
@RohanArun 2009 年就开始用 CUDA，当年靠它让创业项目的实时视角插值跑通。这次报名了一个 auto-research 内核优化挑战，三个小时就冲进了内核优化榜前 50。底气来自多年攒下的 GPU 技巧，包括一套作者说便宜 5 到 10 倍、打算开源的内部推理栈。作者还维护着一个开源的 auto-research harness，实现了 fork-and-flush、RSI-top 等协调策略，每做完一个赛道，就把负面结果和有意思的结果发到 autoresearch 文件夹里。最后这个习惯才是少见的部分。
#7
@shauryr
https://x.com/shauryr/status/2113689852206268635
@shauryr 讲了自己参与的一次模型发布在数据上的做法：自建本地搜索引擎来扩充预训练和后训练数据，用 agent 式的语义拼接生成长度可控的长上下文数据，强化学习环境也是自己搭的。这些环境是用 autoresearch 风格的循环一轮轮加难度做出来的，团队还会把搭环境用的 skill 一起开源。这提醒我们，循环不只用来优化某个目标，也已经被用来制造更难的训练任务。
https://x.com/shauryr/status/2113689852206268635
@shauryr 讲了自己参与的一次模型发布在数据上的做法：自建本地搜索引擎来扩充预训练和后训练数据，用 agent 式的语义拼接生成长度可控的长上下文数据，强化学习环境也是自己搭的。这些环境是用 autoresearch 风格的循环一轮轮加难度做出来的，团队还会把搭环境用的 skill 一起开源。这提醒我们，循环不只用来优化某个目标，也已经被用来制造更难的训练任务。
#8
@dejavucoder
https://x.com/dejavucoder/status/2113690783148904540
@dejavucoder 给数据供应商递了一个市场信号：月之暗面的 Kimi 团队需要更多超长程、autoresearch 风格的任务。后半句更值得琢磨：别把验证器做得太严。这说明实验室已经在采购循环形态的训练数据，而过于死板的评分器，是让这类数据失去价值的已知原因。
https://x.com/dejavucoder/status/2113690783148904540
@dejavucoder 给数据供应商递了一个市场信号：月之暗面的 Kimi 团队需要更多超长程、autoresearch 风格的任务。后半句更值得琢磨：别把验证器做得太严。这说明实验室已经在采购循环形态的训练数据，而过于死板的评分器，是让这类数据失去价值的已知原因。
#9
@jiqizhixin
https://x.com/jiqizhixin/status/2113607369271980481
@jiqizhixin 介绍了南洋理工大学等团队的 CodeActionBench，它测的是机器人操作里完整的 agent 循环：agent 自己选观察视角和目标、估计 3D 位姿、写程序并调试，最后自己判断任务有没有完成。在双臂仿真配置里，尝试成功率从 2.7% 到 73.3% 不等，Codex CLI 里的 GPT-6 Astra 最高 73.3%，Claude Opus 5 在参考 harness 里是 49.3%、在 Claude Code 里是 45.3%。从轨迹看，视觉定位、3D 估计和程序修正是三个各自独立的瓶颈。这个基准连完成判断本身也计分，而这恰恰是大多数循环基准跳过的部分。
https://x.com/jiqizhixin/status/2113607369271980481
@jiqizhixin 介绍了南洋理工大学等团队的 CodeActionBench，它测的是机器人操作里完整的 agent 循环：agent 自己选观察视角和目标、估计 3D 位姿、写程序并调试，最后自己判断任务有没有完成。在双臂仿真配置里，尝试成功率从 2.7% 到 73.3% 不等，Codex CLI 里的 GPT-6 Astra 最高 73.3%，Claude Opus 5 在参考 harness 里是 49.3%、在 Claude Code 里是 45.3%。从轨迹看，视觉定位、3D 估计和程序修正是三个各自独立的瓶颈。这个基准连完成判断本身也计分，而这恰恰是大多数循环基准跳过的部分。
#10
@mrdbourke
https://x.com/mrdbourke/status/2113503419013222842
@mrdbourke 发现 Gemini 4 Argon 的视觉能力很强：让它把电路板上所有凸起的部件都框出来，它一次就输出了边界框外加一个查看用的 HTML。作者围绕它设计了一个标注循环：先定标注规则，把种子数据循环发给 Gemini 来打磨规则、生成黄金样本，再用 SAM3 或感知模型做精细掩码，然后规模化重复。接着用这些产出微调一个更小的专用模型，让 Gemini 复查不确定性高的样本，反复几轮，直到小模型在目标任务上非常强。这个循环最后的产物是一个更便宜的模型，而不是一条更好的提示词。
https://x.com/mrdbourke/status/2113503419013222842
@mrdbourke 发现 Gemini 4 Argon 的视觉能力很强：让它把电路板上所有凸起的部件都框出来，它一次就输出了边界框外加一个查看用的 HTML。作者围绕它设计了一个标注循环：先定标注规则，把种子数据循环发给 Gemini 来打磨规则、生成黄金样本，再用 SAM3 或感知模型做精细掩码，然后规模化重复。接着用这些产出微调一个更小的专用模型，让 Gemini 复查不确定性高的样本，反复几轮，直到小模型在目标任务上非常强。这个循环最后的产物是一个更便宜的模型，而不是一条更好的提示词。
#11
@thestartpod
https://x.com/thestartpod/status/2113091720716091886
@thestartpod 转述了 Peter Steinberger 的说法：一个 agent 循环用大约两周、约 600 个 PR，把 OpenClaw 的网页前端从 Lit 迁到了 Solid 2.0，人每隔一天检查一次。结果是应用更小、更快。有用的细节在节奏上：既不是一次性重写，也不是时刻盯着，而是一个长期运行、两天一检查的循环。这种规模的迁移，以前是一个团队一个季度的活。
https://x.com/thestartpod/status/2113091720716091886
@thestartpod 转述了 Peter Steinberger 的说法：一个 agent 循环用大约两周、约 600 个 PR，把 OpenClaw 的网页前端从 Lit 迁到了 Solid 2.0，人每隔一天检查一次。结果是应用更小、更快。有用的细节在节奏上：既不是一次性重写，也不是时刻盯着，而是一个长期运行、两天一检查的循环。这种规模的迁移，以前是一个团队一个季度的活。
#12
@d_kealoha
https://x.com/d_kealoha/status/2113080175814672690
@d_kealoha 说 Infinity 的 Autoresearch 拿一个 HP 的基准工作负载，自己跑了 216 次实验，在同样的硬件上把吞吐翻了一倍；在另外三个模型上也拿到了 2 到 2.9 倍的类似提升。一句话总结就是同一辆车，快了一倍。这种结果只需要一个诚实的数字来评估：硬件不变，前后吞吐各是多少。
https://x.com/d_kealoha/status/2113080175814672690
@d_kealoha 说 Infinity 的 Autoresearch 拿一个 HP 的基准工作负载，自己跑了 216 次实验，在同样的硬件上把吞吐翻了一倍；在另外三个模型上也拿到了 2 到 2.9 倍的类似提升。一句话总结就是同一辆车，快了一倍。这种结果只需要一个诚实的数字来评估：硬件不变，前后吞吐各是多少。
#13
@Cameron_Dennis_
https://x.com/Cameron_Dennis_/status/2113741389410545720
@Cameron_Dennis_ 介绍了一个定理证明方案：从 DeepSeek V4 Flash 加一个出奇简单的 agent 循环起步，不断生成证明、丢进 Lean 检验，直到有一个通过为止。在 PutnamBench 上，这种做法每道题大约 17 美分，而竞争方案要 44 到 74 美元。重点不是便宜模型更聪明，而是 Lean 这样的验证器让便宜模型可以试很多次，只有对的那一次才算数。
https://x.com/Cameron_Dennis_/status/2113741389410545720
@Cameron_Dennis_ 介绍了一个定理证明方案：从 DeepSeek V4 Flash 加一个出奇简单的 agent 循环起步，不断生成证明、丢进 Lean 检验，直到有一个通过为止。在 PutnamBench 上，这种做法每道题大约 17 美分，而竞争方案要 44 到 74 美元。重点不是便宜模型更聪明，而是 Lean 这样的验证器让便宜模型可以试很多次，只有对的那一次才算数。
#14
@OpenAccept_org
https://x.com/OpenAccept_org/status/2113301474189234418
@OpenAccept_org 在给一个会议审稿时发现，同一批里有篇投稿把整个 auto-research 项目文件夹当成补充材料交了上来，论文的每一个版本都看得到，AI 一轮轮怎么改的一清二楚。审稿人还开玩笑问，现在到底是谁在投稿。这无意中打开了一扇窗，让人看到循环写出来的论文从里面看是什么样：不是一份稿子，而是一整串提交历史。
https://x.com/OpenAccept_org/status/2113301474189234418
@OpenAccept_org 在给一个会议审稿时发现，同一批里有篇投稿把整个 auto-research 项目文件夹当成补充材料交了上来，论文的每一个版本都看得到，AI 一轮轮怎么改的一清二楚。审稿人还开玩笑问，现在到底是谁在投稿。这无意中打开了一扇窗，让人看到循环写出来的论文从里面看是什么样：不是一份稿子，而是一整串提交历史。
#15
@missckroach
https://x.com/missckroach/status/2113310236459381094
@missckroach 刚审完 CHI 的稿子，说最开心的是给一篇 auto-research 生成、跟人机交互毫无关系的 AI 垃圾论文投了拒稿，还建议作者转投 ARR 系的会议。和那篇把项目文件夹当补充材料的故事放在一起看，审稿人现在已经能一眼认出循环生成的投稿。这类论文最先过不去的一关，是投错了地方。
https://x.com/missckroach/status/2113310236459381094
@missckroach 刚审完 CHI 的稿子，说最开心的是给一篇 auto-research 生成、跟人机交互毫无关系的 AI 垃圾论文投了拒稿，还建议作者转投 ARR 系的会议。和那篇把项目文件夹当补充材料的故事放在一起看，审稿人现在已经能一眼认出循环生成的投稿。这类论文最先过不去的一关，是投错了地方。
#16
@apruden08
https://x.com/apruden08/status/2113678133799129551
@apruden08 抛出了一个关于 AI 和安全的两难：要么 AI 让软件和密码学从构造上就是正确的，问题到此为止；要么像 ECDSA、哈希破解这类 auto-research 项目，会随着投入的 token 不断取得进展。你可以证明代码符合规格，但证明不了规格本身、底层硬件或数学一定站得住。作者在后续回复里更偏向后者：只要有人出钱，某些密码学标准也许能靠 auto-research 达到足够的信心，但整体而言，软件安全还是那场从来没停过的军备竞赛。
https://x.com/apruden08/status/2113678133799129551
@apruden08 抛出了一个关于 AI 和安全的两难：要么 AI 让软件和密码学从构造上就是正确的，问题到此为止；要么像 ECDSA、哈希破解这类 auto-research 项目，会随着投入的 token 不断取得进展。你可以证明代码符合规格，但证明不了规格本身、底层硬件或数学一定站得住。作者在后续回复里更偏向后者：只要有人出钱，某些密码学标准也许能靠 auto-research 达到足够的信心，但整体而言，软件安全还是那场从来没停过的军备竞赛。
#17
@byron_miller
https://x.com/byron_miller/status/2113264648489230764
@byron_miller 一直在密切关注这波 auto-research，结论是失望：大部分都严重偏向局部最优，做出来的是一堆唯唯诺诺、跟别的没什么两样的模型。作者真正想看的、能摆脱显存地狱的新架构并没有出现，只点名了一个例外。这是同一期里那篇想法采样研究试图量化的盆地问题，用最直白的话说出来。
https://x.com/byron_miller/status/2113264648489230764
@byron_miller 一直在密切关注这波 auto-research，结论是失望：大部分都严重偏向局部最优，做出来的是一堆唯唯诺诺、跟别的没什么两样的模型。作者真正想看的、能摆脱显存地狱的新架构并没有出现，只点名了一个例外。这是同一期里那篇想法采样研究试图量化的盆地问题，用最直白的话说出来。
#18
@Yash_KVR
https://x.com/Yash_KVR/status/2113521552964628764
@Yash_KVR 点出了自我改进 agent 的一个静默失败：学会了新任务，却悄悄把一个老任务弄坏了，因为它对自己的提示词、记忆或 skill 文件的任何一次修改都可能带来退化。建议的规矩很简单：把这些文件纳入版本管理，只有一组老任务仍然全部通过，才保留这次修改。最后那个问题，你有没有测过你的 agent 忘掉了什么，正是每个让循环跑通宵的人都该问的。
https://x.com/Yash_KVR/status/2113521552964628764
@Yash_KVR 点出了自我改进 agent 的一个静默失败：学会了新任务，却悄悄把一个老任务弄坏了，因为它对自己的提示词、记忆或 skill 文件的任何一次修改都可能带来退化。建议的规矩很简单：把这些文件纳入版本管理，只有一组老任务仍然全部通过，才保留这次修改。最后那个问题，你有没有测过你的 agent 忘掉了什么，正是每个让循环跑通宵的人都该问的。
#19
@isaac_flath
https://x.com/isaac_flath/status/2113383476267241786
@isaac_flath 讲了形成性评测和总结性评测怎么让文档系统真正变好。一次糟糕的 agent 回答只能告诉你哪里坏了，不能告诉你怎么修，所以每一个失败都要倒着追到上游原因，再变成一个不用跑完整 agent 循环就能执行的小测试。作者举了三个例子：读错的财务小计、缺失的病历，以及在几张户型图里被重复数了两次的水槽。这就是把循环的失败变成测试集的手艺。
https://x.com/isaac_flath/status/2113383476267241786
@isaac_flath 讲了形成性评测和总结性评测怎么让文档系统真正变好。一次糟糕的 agent 回答只能告诉你哪里坏了，不能告诉你怎么修，所以每一个失败都要倒着追到上游原因，再变成一个不用跑完整 agent 循环就能执行的小测试。作者举了三个例子：读错的财务小计、缺失的病历，以及在几张户型图里被重复数了两次的水槽。这就是把循环的失败变成测试集的手艺。
#20
@RohanBhanotAI
https://x.com/RohanBhanotAI/status/2113750351484719344
@RohanBhanotAI 说，在任何 agent 循环里，停止条件都是最难写的那一行。写得太含糊，agent 要么试一次就说完成了，要么一直跑到天亮，你醒来面对一张账单。作者的问题是：到底该信什么来结束一次运行，测试通过，还是人点一下确认。话很短，但点中的是同时决定通宵循环质量和成本的那一个设置。
https://x.com/RohanBhanotAI/status/2113750351484719344
@RohanBhanotAI 说，在任何 agent 循环里，停止条件都是最难写的那一行。写得太含糊，agent 要么试一次就说完成了，要么一直跑到天亮，你醒来面对一张账单。作者的问题是：到底该信什么来结束一次运行，测试通过，还是人点一下确认。话很短，但点中的是同时决定通宵循环质量和成本的那一个设置。
#21
@deerprince7
https://x.com/deerprince7/status/2113484005974925668
@deerprince7 让 Grok Bot 接入一个没有官方连接器的 QQ 邮箱，而机器人的云端因为代理封了 993 端口，连不上腾讯的 IMAP。它自己诊断了网络，转而把用户放在国内的 Mac mini 当本地中继，授权码只存在那台设备上并设成 chmod 600，然后以只读方式拉取收件箱，全程不用人一步步盯着。作者总结自己想要的循环就是这样：撞墙，找到真正的原因，云端不行就用用户自己的硬件，密钥留在本地。
https://x.com/deerprince7/status/2113484005974925668
@deerprince7 让 Grok Bot 接入一个没有官方连接器的 QQ 邮箱，而机器人的云端因为代理封了 993 端口，连不上腾讯的 IMAP。它自己诊断了网络，转而把用户放在国内的 Mac mini 当本地中继，授权码只存在那台设备上并设成 chmod 600，然后以只读方式拉取收件箱，全程不用人一步步盯着。作者总结自己想要的循环就是这样：撞墙，找到真正的原因，云端不行就用用户自己的硬件，密钥留在本地。
#22
@kernelInv
https://x.com/kernelInv/status/2113635381900108209
@kernelInv 指出某个检索系统配置表里很说明问题的一组数字：标准配置 NDCG 0.860、忠实度 0.739、耗时 5.3 秒；最高可靠性配置 NDCG 0.804、忠实度 0.916、耗时 14.2 秒。更重的那套检索效果反而更差，时间多了将近三倍，而在强检索之上再套一层 agent 循环，对忠实度几乎没有推动。循环加得多不等于质量高，这张配置表就是证据。
https://x.com/kernelInv/status/2113635381900108209
@kernelInv 指出某个检索系统配置表里很说明问题的一组数字：标准配置 NDCG 0.860、忠实度 0.739、耗时 5.3 秒；最高可靠性配置 NDCG 0.804、忠实度 0.916、耗时 14.2 秒。更重的那套检索效果反而更差，时间多了将近三倍，而在强检索之上再套一层 agent 循环，对忠实度几乎没有推动。循环加得多不等于质量高，这张配置表就是证据。
#23
@bitjson
https://x.com/bitjson/status/2113683144813482296
@bitjson 分享了一份在大型软件项目规划上的模型体感排名：Opus 5.5 胜在原创性和整体知识，Astra 胜在把细节做对，Grok 4.7 的写作和思路最清楚，而 GPT-6 Pro 目前似乎还不如 Astra max。作者还觉得 Grok 在更快的迭代和实验上更强，尤其是在 autoresearch 循环里管理资源，虽然它现在在很多细分领域懂得少一些。这是一个实践者按角色给模型分工，而不是选出唯一赢家。
https://x.com/bitjson/status/2113683144813482296
@bitjson 分享了一份在大型软件项目规划上的模型体感排名：Opus 5.5 胜在原创性和整体知识，Astra 胜在把细节做对，Grok 4.7 的写作和思路最清楚，而 GPT-6 Pro 目前似乎还不如 Astra max。作者还觉得 Grok 在更快的迭代和实验上更强，尤其是在 autoresearch 循环里管理资源，虽然它现在在很多细分领域懂得少一些。这是一个实践者按角色给模型分工，而不是选出唯一赢家。
#24
@jj_kovacs
https://x.com/jj_kovacs/status/2113710566837821902
@jj_kovacs 注意到 Kimi 的开源权重在 Terminal-Bench 上只比 Opus 5.5 低 0.7 分。这让作者第一次认真算了一笔账：把 agent 循环放到团队自己的 GPU 上跑，而不是按 token 付费。token 账单主要花在循环里，所以一个接近前沿的开源模型，改变的是这笔账，而不只是某一个回答的质量。
https://x.com/jj_kovacs/status/2113710566837821902
@jj_kovacs 注意到 Kimi 的开源权重在 Terminal-Bench 上只比 Opus 5.5 低 0.7 分。这让作者第一次认真算了一笔账：把 agent 循环放到团队自己的 GPU 上跑，而不是按 token 付费。token 账单主要花在循环里，所以一个接近前沿的开源模型，改变的是这笔账，而不只是某一个回答的质量。
#25
@_eMaX_
https://x.com/_eMaX_/status/2113746016889667975
@_eMaX_ 在设计一个按 agent 循环真实用法来测两个模型的基准，而不是只测冷启动提示。主场景是一段不断增长的四轮对话，每一轮都带上之前的全部对话、包括模型真实的回复，再加一条约 200 token 的新消息；第二个场景是三个共享同一段长开头的分支，就像多个工作者在同一份上下文上干活。每个场景分别在 2K 和 30K 下测，记录冷启动和命中缓存时的首 token 时间、复用 token 的比例、提示处理速度和解码速度。这套测法对上了循环真正花钱的地方：缓存命中。
https://x.com/_eMaX_/status/2113746016889667975
@_eMaX_ 在设计一个按 agent 循环真实用法来测两个模型的基准，而不是只测冷启动提示。主场景是一段不断增长的四轮对话，每一轮都带上之前的全部对话、包括模型真实的回复，再加一条约 200 token 的新消息；第二个场景是三个共享同一段长开头的分支，就像多个工作者在同一份上下文上干活。每个场景分别在 2K 和 30K 下测，记录冷启动和命中缓存时的首 token 时间、复用 token 的比例、提示处理速度和解码速度。这套测法对上了循环真正花钱的地方：缓存命中。
#26
@SrinathKannoju
https://x.com/SrinathKannoju/status/2113319256968532066
@SrinathKannoju 讲了一个多 agent 实验是怎么避开常见冲突的：团队用的是自己写的极简 agent 循环，每个 agent 在自己的副本和沙箱里干活，所以它们共用 GPU、但不共用文件。需要处理合并冲突的协作还没测过。先隔离、再协作，看起来是大多数能跑通的方案最后都会走到的顺序。
https://x.com/SrinathKannoju/status/2113319256968532066
@SrinathKannoju 讲了一个多 agent 实验是怎么避开常见冲突的：团队用的是自己写的极简 agent 循环，每个 agent 在自己的副本和沙箱里干活，所以它们共用 GPU、但不共用文件。需要处理合并冲突的协作还没测过。先隔离、再协作，看起来是大多数能跑通的方案最后都会走到的顺序。
#27
@tinkerlog
https://x.com/tinkerlog/status/2113253463928791540
@tinkerlog 总结了 Recursive 的 Flint：总参数 400 亿、激活约 25 亿，262144 token 的上下文窗口，在 OpenRouter 上免费。它是一个开源权重的混合专家模型，由 Recursive 的 autoresearch 系统 Eureka Machine 专门为编程 agent 打造。建议的分工是：长上下文的编程循环交给 Flint，付费的前沿模型只留在最后审查。一个由循环造出来的模型，被推荐来跑循环。
https://x.com/tinkerlog/status/2113253463928791540
@tinkerlog 总结了 Recursive 的 Flint：总参数 400 亿、激活约 25 亿，262144 token 的上下文窗口，在 OpenRouter 上免费。它是一个开源权重的混合专家模型，由 Recursive 的 autoresearch 系统 Eureka Machine 专门为编程 agent 打造。建议的分工是：长上下文的编程循环交给 Flint，付费的前沿模型只留在最后审查。一个由循环造出来的模型，被推荐来跑循环。
#28
@epmatt_
https://x.com/epmatt_/status/2113671761451430088
@epmatt_ 发自 Autoresearch Log 的第一期现场，这是 Inventionistas 和苏黎世联邦理工 AI 俱乐部合办的活动，满屋子都是研究者和科学家。第一期的主题是自动化大模型后训练。autoresearch 现在有了自己的固定活动，而开场题目正是 VictorTaelin 问的那一步：把训练本身也放进循环里。
https://x.com/epmatt_/status/2113671761451430088
@epmatt_ 发自 Autoresearch Log 的第一期现场，这是 Inventionistas 和苏黎世联邦理工 AI 俱乐部合办的活动，满屋子都是研究者和科学家。第一期的主题是自动化大模型后训练。autoresearch 现在有了自己的固定活动，而开场题目正是 VictorTaelin 问的那一步：把训练本身也放进循环里。
#29
@chirag
https://x.com/chirag/status/2113269959677943931
@chirag 用一个研究命令问了一句：agent 式自动研究最近有什么进展，拿回一份报告，然后把报告里排在最前面的那些来源，直接当成了另一个实验室命令的设计依据。这是一个小小的递归模式：用研究循环调研整个领域，再根据它找到的东西做下一个工具。设计文档本身就是循环的产出。
https://x.com/chirag/status/2113269959677943931
@chirag 用一个研究命令问了一句：agent 式自动研究最近有什么进展，拿回一份报告，然后把报告里排在最前面的那些来源，直接当成了另一个实验室命令的设计依据。这是一个小小的递归模式：用研究循环调研整个领域，再根据它找到的东西做下一个工具。设计文档本身就是循环的产出。
#30
@p_kosieradzki
https://x.com/p_kosieradzki/status/2113730444692984121
@p_kosieradzki 不同意把写几个 Markdown 文件和 skill 叫做 harness 工程。给 agent 指令、文档和流程，那是上下文工程和工作流设计。harness 是底下真正运转的东西：agent 循环、系统提示、工具、权限和会话管理，作者举的例子是 pi。配置你怎么和 agent 合作，不等于搭建驱动它的机器；随着越来越多论文宣称在 harness 上有提升，这个区分越来越重要。
https://x.com/p_kosieradzki/status/2113730444692984121
@p_kosieradzki 不同意把写几个 Markdown 文件和 skill 叫做 harness 工程。给 agent 指令、文档和流程，那是上下文工程和工作流设计。harness 是底下真正运转的东西：agent 循环、系统提示、工具、权限和会话管理，作者举的例子是 pi。配置你怎么和 agent 合作，不等于搭建驱动它的机器；随着越来越多论文宣称在 harness 上有提升，这个区分越来越重要。
📡 生态产品雷达
生态产品雷达
Claude 和 Claude Code：想法采样实验、机器人基准和内核挑战里默认的模型与 harness。
Grok Bot 和 Grok 4.7：一个会绕开被封网络的 agent 循环，以及一个因为善于管理 autoresearch 资源而被点名的模型。
Gemini 4 Argon：一个标注循环的核心视觉模型，这个循环最后产出的是一个更小的微调模型。
DeepSeek V4 Flash：Lean 证明循环里的便宜模型，每道题约 17 美分。
Kimi：在 Terminal-Bench 上接近 Opus 的开源权重，也是在向数据商征集 autoresearch 类任务的实验室。
Flint 和 Eureka Machine：Recursive 用循环造出来的编程模型，在 OpenRouter 上免费。
Lean：让便宜模型可以反复重试、直到证明通过的验证器。
pi：被拿来说明 harness 工程到底指什么的极简 harness。
OpenClaw：一个 agent 循环用约 600 个 PR 从 Lit 迁到 Solid 的前端。
Fork-and-flush：本期多个开源 auto-research harness 实现的协调策略。
Claude 和 Claude Code：想法采样实验、机器人基准和内核挑战里默认的模型与 harness。
Grok Bot 和 Grok 4.7：一个会绕开被封网络的 agent 循环，以及一个因为善于管理 autoresearch 资源而被点名的模型。
Gemini 4 Argon：一个标注循环的核心视觉模型，这个循环最后产出的是一个更小的微调模型。
DeepSeek V4 Flash：Lean 证明循环里的便宜模型，每道题约 17 美分。
Kimi：在 Terminal-Bench 上接近 Opus 的开源权重，也是在向数据商征集 autoresearch 类任务的实验室。
Flint 和 Eureka Machine：Recursive 用循环造出来的编程模型，在 OpenRouter 上免费。
Lean：让便宜模型可以反复重试、直到证明通过的验证器。
pi：被拿来说明 harness 工程到底指什么的极简 harness。
OpenClaw：一个 agent 循环用约 600 个 PR 从 Lit 迁到 Solid 的前端。
Fork-and-flush：本期多个开源 auto-research harness 实现的协调策略。
评论