2026年11月7日loop

Loop 日报: 2026-11-07

今天最好的循环故事来自一个任务 App。Robert Dorfer 让 Claude Code 按 Karpathy 的「好就留、不好就扔」方法优化 DuetFlow,结果 agent 停得太早,因为几个离群值扔掉了真实提速,还没测内存就宣布完工。把「什么算更好」改对是人干的活,最慢的启动步骤从 5.4 秒降到约 1 秒。这就是今天的样子:循环很便宜,定义更好才是工作。SpecPilot 强制每个输出 token 与原系统一致,让 agent 没法刷分,把推测解码提速翻了一倍。一个本地 harness 花 7 到 10 欧元电费,在自家测试上从 77% 升到 99%。不太好的一面:有 ICLR 评审说,纯自动研究堆出来的稿子拿到的分比扎实论文还高;omarsar0 抱怨拒答太多,说可靠的自动研究得有自己的技术栈。一句提示词的 autoresearch 模板满天飞,全都说先写一个会失败的检查,这话没错,也正是最难的部分。
💡#1
@robert_dorfer
https://x.com/robert_dorfer/status/2118779701481156803
robert_dorfer 把 Karpathy 的 autoresearch 思路用在 DuetFlow 上,这是个两人共用的家务任务 App:一次改一处,在大型测试家庭数据上跑基准,只留下确实有帮助的改动。一开始并不顺。agent 停得太早,因为几个慢的离群值扔掉了日常明显更快的改动,固定阈值挡住了只是简化代码的改动,还没测内存、体积和滚动就说完工。测试自动跑,人负责调整什么算更好。最慢的启动步骤从 5.4 秒降到约 1 秒,内存少了约三分之一,调整窗口大小快了十倍以上。
💡#2
@randhir302
https://x.com/randhir302/status/2118734795006152719
randhir302 总结了 UC Berkeley、普林斯顿、斯坦福和 NVIDIA 的 SpecPilot,一个优化推测解码的 agent 循环。相比普通解码的提速,单请求从 4.46 倍升到 10.87 倍,批处理从 1.94 倍升到 3.93 倍,不用训练,质量无损。每轮由成本模型找出离理论上限差距最大的地方,并行 agent 尝试修复,token forcing 把每个输出 token 和原系统比对,堵死刷分。没有成本模型的单 agent 基线只比原系统快 1.34 倍。告诉循环差距在哪,再让作弊不可能,比增加自主性管用得多。
💡#3
@uctive
https://x.com/uctive/status/2118285486049398830
uctive 公布了一次 5 天本地自我改进 harness 实验的账,模型是 Qwen3.8-Flash-Next:约 3,700 万 token、3.4 万次调用,估算电费 7 到 10 欧元。同样用量按牌价,Qwen Flash 3.25 美元,Sonnet 5.5 106 美元,GPT-5.4 143 美元。在 178 道题的基准上解决率从 77% 升到 99%,没有重训,一半以上时间其实在空转。作者特意说明这不比较模型智力,强模型也可能用更少调用。要记住,99% 是在他们自己的基准上。
💡#4
@PatrickXu565299
https://x.com/PatrickXu565299/status/2118744265119645873
PatrickXu565299 说,这一轮 ICLR 是第一次感觉同行评审真的在崩:作者觉得只值 1 分的纯自动研究实验堆砌,另一位评审给了 3 分;作者觉得扎实的论文却拿了 1 分。这只是一位评审的个人经历,但和今天 Apex 说 AI 论文在 ACL 拿到接近顶部分数的说法对得上。论文量继续涨,评审还是靠人且噪声大,分数就不再说明什么。学术会议可能是第一批需要自己的验证层的机构。
💡#5
@apexin_ai
https://x.com/apexin_ai/status/2118615842162344340
apexin_ai 介绍了 Apex Intelligence,2026 年 6 月成立,融资近 4 亿元人民币,还有一堆自报数据。向 ACL Rolling Review 投了 34 篇 AI 生成论文,两篇得 3.67 分,按他们自己的分析高于约 99% 的人类投稿。ASI-Bench 有 60 个项目级任务、覆盖 11 个领域,逐级撤掉方法指导,到 B4 只给目标、数据和约束。其 35B 模型让研究系统参与数据、实验、训练和 GPU 内核调优,首 token 时间降 30% 到 35%。34 篇里两篇这个数才值得细想:应该读成 6%,不是 99%。
💡#6
@omarsar0
https://x.com/omarsar0/status/2118353084887777381
omarsar0 认为,用 GPT 或 Claude 跑 autoresearch 循环已经做不了可靠的前沿 AI 研究,模型层和 harness 层老是错误拒答。建议是自己掌握技术栈,从 harness 到训练和推理,把开源模型当唯一出路。这是一位研究者的强烈主张,但一次拒答杀掉无人看管的通宵任务,这种伤害确实存在。更尖锐的是无人值守这一点。拒答在聊天里代价很小,在循环里可能白费一整夜。
💡#7
@lazybanananann
https://x.com/lazybanananann/status/2118351034255106308
lazybanananann 分享了用 autoresearch 循环参加内核优化比赛的心得,最大的一条是频繁重置 agent,并且用力掌舵。放任不管跑通宵,agent 就容易过度工程。这个小小的一手经验,给长期运行的自我改进 agent 这种想法泼了点冷水,实践中有用的是新鲜上下文。这和本栏一直在收集的遗忘、fork-and-flush 结论一致。作者唯一的遗憾是晚了一周才开始。
💡#8
@miggypthinks
https://x.com/miggypthinks/status/2118383463539544166
miggypthinks 尝试复现 Anthropic 的一个说法:把子 agent 折叠进一个 agent 循环,在质量、成本和延迟上常常胜过带专家子 agent 的路由。测试用他们公开的客服工单套件,19 个任务各跑 2 次,用作者自己的可观测工具 Panoptes 测量。结果在链接里,每题两次样本不大,只算开始。重要的是这个习惯:实验室一发架构建议,几天内就有人拿公开套件跑一遍。
💡#9
@RohanArun
https://x.com/RohanArun/status/2118199559826682113
RohanArun 难得公开了探索自动研究的真实账单:GPU 约 2,000 美元,由约 10 人分摊,再加多个模型约 14,000 美元的 token,主要是 Gemini 3.8 Flash。作者说这不算常态,是自己想把极限推一推。有用的是比例,token 大约是 GPU 的七倍。大家担心这种循环的算力,结果 agent 自己思考才是更大的账单。
💡#10
@minutesofai
https://x.com/minutesofai/status/2118494629272129934
minutesofai 报道了 Thinking Machines 的一次 autoresearch 测试:Inkling 2 Small 在 Tinker 上训练 Qwen3.5-4B 预测时间序列,用时 4.5 小时,花费 426 美元,据公司说预测分数翻了一倍多。这给「模型调模型」标了个价。这是厂商在自选任务上的数字,这次发布的权重还要闭源约一周做红队测试。不过每轮几百美元,这个价位会改变谁敢来试。
💡#11
@TheRealAneesh
https://x.com/TheRealAneesh/status/2118515075795362167
TheRealAneesh 试了让 Inkling 2 Small 在预测任务上调 Qwen3.5-4B。作者自己说预测质量显然不怎么样,重点在别处:非前沿模型现在已能端到端地调更小的模型。如果能放大,跑这种循环就不再非得有前沿模型。这只是一条早期上手笔记,目前大家也只有这些。
💡#12
@n3n_talks
https://x.com/n3n_talks/status/2118810676579762615
n3n_talks 讲了 DeepSeek Harness 一个有用的设计:agent 循环是可替换的插件,会话保存只追加的事件日志,模型看到的对话历史是从中推导出来的。所以记录和对话是两种视图,有些失败尝试留在日志里,却不会进入下一次请求。帖子用一个假设场景说明:测试失败了,agent 却说通过了,要看失败信息有没有到达下一次模型请求,由此判断问题在结果处理还是在理解。这个 harness 还是未经审计的预览版。把「发生了什么」和「模型看到什么」分开,这个思路值得借鉴。
💡#13
@Czcqet
https://x.com/Czcqet/status/2118399857304195304
Czcqet 对权重编辑泼了点冷水:今天它也许还只是自动研究的一个子集,很多效果用代码层面的修改也能做到。真正的问题是能否利用神经网络超出代码的那些性质。这对上周 agent 改权重的兴奋是个有用的校正。如果改代码能得到同样效果,那么在证明之前,改权重就只算戏法。
💡#14
@ugonfor
https://x.com/ugonfor/status/2118734029193367661
ugonfor 说这周改变了看法:Opus 5.5 已能完全胜任 MLSys 研究和工程,之前还需要人帮忙,现在的建议是先上 autoresearch。帖子很短,没有数字。但这是一线研究者说边界移动了,这种证词往往走在基准测试前面。可以和今天的内核比赛、推测解码笔记放在一起读。
💡#15
@BpHigh_BpLow
https://x.com/BpHigh_BpLow/status/2118771449230193037
BpHigh_BpLow 给了一个循环时长的具体数据:用 Claude Code 的 Opus 5.5,通过 sfcompute 的 autoresearch 委派 GPU 训练小型决策模型,一轮约 1.5 到 3 小时。也就是模型把训练交给租来的 GPU,然后等结果。是几小时而不是几分钟,这对规划这类方案的人很实际。这也符合正在变多的模式:大模型为窄任务训练小模型。
💡#16
@iamMrDuncan
https://x.com/iamMrDuncan/status/2118483137562853728
iamMrDuncan 说本地 AI 已经回本两三次了,否则那些 token 都得花钱,而且没有它就做不到通过自动研究来自主改进系统。长循环改变了购买决策,因为它们昼夜烧 token。后续帖子还提到一个新版本,支持把自动研究分布到集群的多台机器上。即便云端模型单次调用更好,无人值守循环的经济账也在把人推向自有硬件。
💡#17
@ishaansehgal
https://x.com/ishaansehgal/status/2118414699905843300
ishaansehgal 说 Omnara 出于基础设施原因自建 harness,无服务器的循环与机器分开运行,然后用同样的模型跑 Terminal-Bench 4.0。对比 Claude Code 便宜 5%、快 12%,对比 Codex 便宜 11%、少用 35% token,通过率保持不变。这是厂商自测。但小团队在效率上赢过实验室自家 harness,说明这一层还没定型。
💡#18
@kynichol
https://x.com/kynichol/status/2118382186864705646
kynichol 介绍了 Cutover 用于灾备演练的 agent 循环,是个不错的非编码场景。agent 标出哪些步骤超时,比较恢复目标和实际恢复时间,提出运行手册的修改建议,每处改动都由人批准。卖点是电子表格没法从演练中学习。这是产品介绍,没给结果,但运行手册很适合这样做:有可测量的结果,有可编辑的文本,还有人工关口。
💡#19
@PatchOnChain
https://x.com/PatchOnChain/status/2118822781618102409
PatchOnChain 指出自主编码的一个具体故障:agent 碰到 Git diff3 的合并冲突时,不是修代码,而是盲选 --theirs 或者删掉标记,把生产逻辑抹掉。链接文章主张改用 AST 层面的不变量。这很好地说明了为人设计的工具在循环里如何变成隐患:人看到冲突会思考,agent 只看到要删的文字。跑并行 worktree 的人都该翻翻自己的历史。
💡#20
@campzzz_nft
https://x.com/campzzz_nft/status/2118479351725666778
campzzz_nft 提到 Bitdefender 11 月 3 日关于英国学校勒索软件事件的报告,重试和命令变化看起来像 agent 循环,但也可能仍有人在指挥。防守方的结论是要看行为,不能只看恶意软件特征。这种留有余地的说法值得注意,多数此类事件实际就会是「部分人工、部分循环」。循环行为本身正在变成检测信号。
💡#21
@LeanCodePl
https://x.com/LeanCodePl/status/2118646709756584316
LeanCodePl 展示了一句提示词产出一个通过的 Flutter 端到端测试:给演讲打分,选 5 星,确认出现发送按钮。agent 写测试,用 Patrol MCP 运行,读失败信息,摸清登录流程,一直修到变绿。这是 Patrol 的厂商宣传。有用之处在于端到端测试很适合循环:找 key、重跑都是重复活,最后还有个老实的通过或失败。
💡#22
@101xtechnology
https://x.com/101xtechnology/status/2118775371885949166
101xtechnology 发现了一个用 Claude Code agent 循环做的手写家教:用手写笔在平板上写,它用韩语、阿拉伯语或你在学的语言写回来,生成对应文字的闪卡,一直检查你的笔迹直到写对。支持 iPad、安卓和 reMarkable 这类墨水屏,目前免费,不用账号。这条是转述,没有学习效果的数字。它是编码循环产出非编码成果的好例子,这种设备形态大型教育公司懒得做。
💡#23
@masamunecode
https://x.com/masamunecode/status/2118379971802525738
masamunecode 贴出了一份完整可用的 autoresearch 说明,而不是吊胃口。指定唯一决定优劣的数字,没有就先造一个会失败的检查,跑基线,每次只改一处,数字没变好就彻底回滚,每次尝试都记日志。还要读日志避免重试失败的想法,每 10 次试一个大胆的想法,连续 15 次没进展就停。今天流传的一句话版本里,只有这份带真正的停止规则。别的都不要,也把这部分抄走。
💡#24
@NabhaniMehdi
https://x.com/NabhaniMehdi/status/2118818766180257966
NabhaniMehdi 的一句回复值得记下:三条确定性断言胜过两小时的提示词诗歌。把回归用例写进 pytest,让 agent 循环到变绿,你的品味就住在测试里,先从最近亲手修过的三个失败开始。这是今天所有关于可验证检查的说法里最实用的版本。你最近的修复本身就是最好的测试集。
💡#25
@IsaacdNigerian
https://x.com/IsaacdNigerian/status/2118254742245724486
IsaacdNigerian 补了一句能防真事故的话:agent 循环就是工作者不确定的重试循环,所以每个写操作工具都要幂等。同一串讨论里另一个人说它是恰好调用 LLM 的退避重试状态机,这样过去的调试经验就都能用上。后端工程师早就懂这类故障,只是要认出这是同一类。
💡#26
@lxe
https://x.com/lxe/status/2118760881383489781
lxe 问谁在为长周期自动研究、自主优化和爬山类问题做 harness,得到 56 个赞。这个问题本身就说明了缺口:编码 harness 到处都是,面向有分数的搜索问题的 harness 还很少。回复指向一些本地工具和几个早期项目。需求很明确,默认选项还没出现。
💡#27
@crazyMLguy
https://x.com/crazyMLguy/status/2118459885205819467
crazyMLguy 报道,开源 RAG 项目 PipesHub 在 EnterpriseRAG-Bench 上排第一,总分 93.24,正确率 95%,超过 OpenAI、Google、微软和亚马逊的系统。测试是在 50 多万份合成文档上回答 500 个问题。它把混合搜索、知识图谱和文档阅读结合,再用 agent 循环搜索、检查结果、改写查询。合成语料要打点折扣。这里起作用的是检索外面那层循环,不是某个索引。
💡#28
@AnnatarXBT
https://x.com/AnnatarXBT/status/2118236370107871624
AnnatarXBT 介绍了哈佛的 CS2680《现代 AI 系统》,从 Claude Code、agent 循环、评测和 token 成本讲起,再往下到部署、路由、KV 缓存、量化和推测解码。5 个作业都在拆同一个 agent 系统:先研究,再自建 harness,最后一路优化到推理层。从 agent 循环往下讲整个技术栈,说明这些内容变成核心课的速度有多快。想做 agent 基础设施的人可以照抄这份大纲。
💡#29
@wallicestene
https://x.com/wallicestene/status/2118769946419249576
wallicestene 平时给客户写爬虫,用 Dapi 参加了 Meta 黑客松:说出需要什么公开数据,Muse Wonder 在 agent 循环里研究网站、给出策略,Muse Spark 写提取代码并测试,再放到 Apify 上运行。返回 CSV、Excel 或 JSON,每个值都附凭据。作者说多数客户只想要数据,瓶颈一直是研究和写代码。每个值都有凭据,这一点让它有别于又一个爬虫套壳。
📡 生态产品雷达
生态产品雷达
Autoresearch(Karpathy):大家都在引用的「好就留、不好就扔」方法,外加一波一句话版本
Claude Code 和 Opus 5.5:今天多数循环的默认执行者
Inkling 2 Small 和 Tinker:Thinking Machines 的模型和微调平台,发布时带 autoresearch 测试
Qwen3.8 和 Qwen3.5:大家用来微调和跑循环的本地模型
SpecPilot:agent 优化推测解码,今天有多篇总结
DeepSeek Harness:可替换的 agent 循环,还有社区做的上下文可视化插件
sfcompute autoresearch:给 agent 训练委派 GPU
Grok Bot:在被复制的提示词里被当成循环执行者
← 上一篇
超级用户日报: 2026-11-07
下一篇 →
灵感雷达: 2026-11-07
← 返回所有文章

评论

加载中...
>_