AI 造 AI 日报: 2026-11-16
这个周末最好的 AI 造 AI 故事里没有一家大实验室。一家做运维的公司把原来只调提示词的那套自我改进循环,直接对准了模型权重,花了 97 美元,一个 27B 开源模型在 Kubernetes 故障根因分析上从 0.287 涨到 0.871,每次运行的成本只有 Sonnet 的六分之一。这一轮到处都是同一个形状:harness 和模型已经是同一道优化题,前沿模型的活变成了写数据、给会话打分、给截图打标签,让小模型去学。一个能装进软盘的 36.7 万参数模型,架构是 Fable 5.2 写的,训练数据是 Opus 5.5 写的。agent 也开始直接动权重了:给 Qwen 量化逐个张量挑精度,写出来的 GPU kernel 在 Meta 的 kernel 挑战赛里从 30 万份提交中拿了第二。泼冷水的是真正在训模型的人:Opus 依然判断不准哪个架构改动会有用,而想让文字不像模型写的,目前唯一靠谱的办法还是微调。蒸馏也再次变成地缘政治话题,中文圈在问:国产大模型最近集体放缓,是不是因为 Claude 这根水管被关了。
#1
@itielshwartz
https://x.com/itielshwartz/status/2121864612505125305
@itielshwartz 讲了 Komodor 怎么把自己那套自我改进循环,从只调 harness 改成直接对准模型本身。团队拿 Qwen3.5-27B 自己跑出来的排查会话,让老师模型只在第一次走错的地方改几个词,然后让 Qwen 自己接着跑,只留下分数更高的会话;再把服务名和 pod 名统统改掉,逼模型学会怎么查,而不是记住哪个名字是答案。在 Together AI 上跑四次 LoRA 花了 27 美元,整个周期 97 美元。40 个 Kubernetes 故障上的成绩是:原模型 0.287,换更好的 harness 0.688,只换更好的模型 0.369,两样一起上 0.871,每次运行 0.14 美元,Sonnet 4.6 要 0.84。帖子自己也承认了软肋:训练和打分用的是同一批 40 个公开故障,没见过的故障才是真考试。
https://x.com/itielshwartz/status/2121864612505125305
@itielshwartz 讲了 Komodor 怎么把自己那套自我改进循环,从只调 harness 改成直接对准模型本身。团队拿 Qwen3.5-27B 自己跑出来的排查会话,让老师模型只在第一次走错的地方改几个词,然后让 Qwen 自己接着跑,只留下分数更高的会话;再把服务名和 pod 名统统改掉,逼模型学会怎么查,而不是记住哪个名字是答案。在 Together AI 上跑四次 LoRA 花了 27 美元,整个周期 97 美元。40 个 Kubernetes 故障上的成绩是:原模型 0.287,换更好的 harness 0.688,只换更好的模型 0.369,两样一起上 0.871,每次运行 0.14 美元,Sonnet 4.6 要 0.84。帖子自己也承认了软肋:训练和打分用的是同一批 40 个公开故障,没见过的故障才是真考试。
#2
@Rafse7en
https://x.com/Rafse7en/status/2121878870475575390
@Rafse7en 做了一个能装进软盘、在 DOS 上跑的语言模型,而且两半都是 Claude 写的。Fable 5.2 写了 transformer 架构,Opus 5.5 生成训练数据:大约 3500 条事实,加上闲聊和算术,每条都换几种问法和答法。模型 36.7 万参数,权重存成 8 位整数、每行一个缩放系数,程序加权重一共约 435 KB,能在 Intel 奔腾上一个字符一个字符地跑。见过的词和事实还答得上来,问长一点或复杂一点就开始胡言乱语。转发潮把它推到了十几万曝光,也有人提醒目前只有视频,还没放代码。
https://x.com/Rafse7en/status/2121878870475575390
@Rafse7en 做了一个能装进软盘、在 DOS 上跑的语言模型,而且两半都是 Claude 写的。Fable 5.2 写了 transformer 架构,Opus 5.5 生成训练数据:大约 3500 条事实,加上闲聊和算术,每条都换几种问法和答法。模型 36.7 万参数,权重存成 8 位整数、每行一个缩放系数,程序加权重一共约 435 KB,能在 Intel 奔腾上一个字符一个字符地跑。见过的词和事实还答得上来,问长一点或复杂一点就开始胡言乱语。转发潮把它推到了十几万曝光,也有人提醒目前只有视频,还没放代码。
#3
@SentimentalK229
https://x.com/SentimentalK229/status/2122038607724888236
@SentimentalK229 放出了 Pixeltree,一个 19 MB 的本地模型,能把任意截图变成一份文字版的界面元素清单,而标签是 Claude 打的。Opus 按一份写死的框选规范标了 2782 张截图,拿它们微调 YOLO11s,配上 OCR,在 10 个从没见过的 Linux 应用上 F1 0.854。更有用的是谁真的受益:Claude Haiku 读元素树反而更差,GLM 5.3 Flash 涨了 15 分,看不了图的纯文本模型 LongCat 2.0 靠它完成了 48 个桌面任务里的 33 个。还有一个自己踩的坑值得抄作业:一条省 token 的清洗规则把关闭按钮上的叉号删了,结果 144 局里有 39 局 agent 直接把应用关了。代码、权重、打标配方和所有表格全部公开,帖子还说明了打标、实验和初稿都是 agent 在作者指挥下做的。
https://x.com/SentimentalK229/status/2122038607724888236
@SentimentalK229 放出了 Pixeltree,一个 19 MB 的本地模型,能把任意截图变成一份文字版的界面元素清单,而标签是 Claude 打的。Opus 按一份写死的框选规范标了 2782 张截图,拿它们微调 YOLO11s,配上 OCR,在 10 个从没见过的 Linux 应用上 F1 0.854。更有用的是谁真的受益:Claude Haiku 读元素树反而更差,GLM 5.3 Flash 涨了 15 分,看不了图的纯文本模型 LongCat 2.0 靠它完成了 48 个桌面任务里的 33 个。还有一个自己踩的坑值得抄作业:一条省 token 的清洗规则把关闭按钮上的叉号删了,结果 144 局里有 39 局 agent 直接把应用关了。代码、权重、打标配方和所有表格全部公开,帖子还说明了打标、实验和初稿都是 agent 在作者指挥下做的。
#4
@webtkdev
https://x.com/webtkdev/status/2121445517590925634
@webtkdev 在日报里点了一条 kernel 成绩:Databricks 说自家 agent 写的 GPU kernel 在 Meta 的 Muse Spark 开放 kernel 挑战赛里,从 30 多万份提交中拿了第二,平均比 SGLang 的 kernel 快 2.5 倍。写 kernel 是 AI 干 AI 工程师活最干净的例子,因为分数就是秒表,没人需要争论审美。在这么大的场子里拿第二,说明 agent 循环已经能跟靠这门手艺吃饭的人掰手腕,不只是演示。同一份日报还提到 DeepMind 用 CC BY 4.0 开放了它天气模型背后的数据集,洪水和干旱模型有了免费的训练数据。
https://x.com/webtkdev/status/2121445517590925634
@webtkdev 在日报里点了一条 kernel 成绩:Databricks 说自家 agent 写的 GPU kernel 在 Meta 的 Muse Spark 开放 kernel 挑战赛里,从 30 多万份提交中拿了第二,平均比 SGLang 的 kernel 快 2.5 倍。写 kernel 是 AI 干 AI 工程师活最干净的例子,因为分数就是秒表,没人需要争论审美。在这么大的场子里拿第二,说明 agent 循环已经能跟靠这门手艺吃饭的人掰手腕,不只是演示。同一份日报还提到 DeepMind 用 CC BY 4.0 开放了它天气模型背后的数据集,洪水和干旱模型有了免费的训练数据。
#5
@SulkaMike
https://x.com/SulkaMike/status/2121939343946260950
@SulkaMike 在一份周末汇总里挑出了一条不起眼但很要紧的技术故事:Nace 和 Kapitsa 发布了一批 Qwen 量化版,9B 只占 4.7GB,27B 约 17.3GB,35B-A3B 15.3GB,做法是让前沿 agent 提议每个张量用什么精度,拿结果跟原模型比,每一处改动留还是撤由测试说了算。整个优化烧了大约 10 亿 token。在 128K 上下文测试里,27B 有 97.7% 的时候跟原模型选了同一个下一个词,9B 是 90.5%,35B-A3B 是 91.2%,KL 散度也在变好。这些数字衡量的是跟原模型像不像,不是任务做得对不对,帖子自己也说清楚了。真正的看点是那个反讽:先烧一次昂贵的前沿推理,换来所有人都能更便宜地跑本地权重。
https://x.com/SulkaMike/status/2121939343946260950
@SulkaMike 在一份周末汇总里挑出了一条不起眼但很要紧的技术故事:Nace 和 Kapitsa 发布了一批 Qwen 量化版,9B 只占 4.7GB,27B 约 17.3GB,35B-A3B 15.3GB,做法是让前沿 agent 提议每个张量用什么精度,拿结果跟原模型比,每一处改动留还是撤由测试说了算。整个优化烧了大约 10 亿 token。在 128K 上下文测试里,27B 有 97.7% 的时候跟原模型选了同一个下一个词,9B 是 90.5%,35B-A3B 是 91.2%,KL 散度也在变好。这些数字衡量的是跟原模型像不像,不是任务做得对不对,帖子自己也说清楚了。真正的看点是那个反讽:先烧一次昂贵的前沿推理,换来所有人都能更便宜地跑本地权重。
#6
@TeksEdge
https://x.com/TeksEdge/status/2122057050431824292
@TeksEdge 盯上了一个不只是普通微调的 Qwen3.8 版本:开发者把 27B 模型从 64 层加到 96 层,撑到大约 40B,再用 Claude Opus 的推理数据继续训练这个扩容后的模型。4 位的 IQ4_XS 版本 21.8GB,一张 RTX 3090 就能塞下,Apache 2.0 协议,带 GGUF 和 MTP 版本,还调过让它少拒答,名字长得像一列火车。帖子里问了一个到现在都没人回答的问题:还没有任何独立测试证明这个 40B 比原来的 27B 更强。这就是业余玩家尺度上的蒸馏,Claude 的推理轨迹被灌进了别人家的权重里。
https://x.com/TeksEdge/status/2122057050431824292
@TeksEdge 盯上了一个不只是普通微调的 Qwen3.8 版本:开发者把 27B 模型从 64 层加到 96 层,撑到大约 40B,再用 Claude Opus 的推理数据继续训练这个扩容后的模型。4 位的 IQ4_XS 版本 21.8GB,一张 RTX 3090 就能塞下,Apache 2.0 协议,带 GGUF 和 MTP 版本,还调过让它少拒答,名字长得像一列火车。帖子里问了一个到现在都没人回答的问题:还没有任何独立测试证明这个 40B 比原来的 27B 更强。这就是业余玩家尺度上的蒸馏,Claude 的推理轨迹被灌进了别人家的权重里。
#7
@SimonHoiberg
https://x.com/SimonHoiberg/status/2121592470630711632
@SimonHoiberg 说公司微调过的 Qwen 模型现在已经追平了 GPT-6 和 Opus 5.5,依据是一套用公司真实工作搭的私有基准,任何模型都没见过。真正值得抄的是方法,不是标题。一套私有基准库把每次选模型都变成一场考试:哪个本地模型过了某项活,GPT-6 就丢了那项活。公开榜单给不了这个答案,因为它们量的是别人的工作。这是一家公司能拥有的最便宜的 AI 造 AI 基础设施,微调的钱往哪儿花由它决定。
https://x.com/SimonHoiberg/status/2121592470630711632
@SimonHoiberg 说公司微调过的 Qwen 模型现在已经追平了 GPT-6 和 Opus 5.5,依据是一套用公司真实工作搭的私有基准,任何模型都没见过。真正值得抄的是方法,不是标题。一套私有基准库把每次选模型都变成一场考试:哪个本地模型过了某项活,GPT-6 就丢了那项活。公开榜单给不了这个答案,因为它们量的是别人的工作。这是一家公司能拥有的最便宜的 AI 造 AI 基础设施,微调的钱往哪儿花由它决定。
#8
@cxmrondlls
https://x.com/cxmrondlls/status/2121951031777001803
@cxmrondlls 顺着 Coinbase 那条成绩往下追:一个免费的 Qwen3.5-9B,花不到 100 美元微调,在欺诈审核上打赢了 Opus 4.5,问题是这种模型最后跑在哪儿。Acurast 把它压到 4 位、5.7GB,放在 16GB 内存的安卓手机上,套一个兼容 OpenAI 的接口,不用 GPU、不用云账号,部署命令敲下去大约五分钟出第一个回答。最快的手机每秒 9.3 个 token,一个真实的 7000 token 提示词,9B 要读 3 分 15 秒,0.8B 只要 15 秒。每条三分钟听着很慢,可欺诈审核本来就是一条隔夜队列,一百台手机就能同时读一百条。便宜的微调和便宜的硬件,其实是同一个故事讲了两遍。
https://x.com/cxmrondlls/status/2121951031777001803
@cxmrondlls 顺着 Coinbase 那条成绩往下追:一个免费的 Qwen3.5-9B,花不到 100 美元微调,在欺诈审核上打赢了 Opus 4.5,问题是这种模型最后跑在哪儿。Acurast 把它压到 4 位、5.7GB,放在 16GB 内存的安卓手机上,套一个兼容 OpenAI 的接口,不用 GPU、不用云账号,部署命令敲下去大约五分钟出第一个回答。最快的手机每秒 9.3 个 token,一个真实的 7000 token 提示词,9B 要读 3 分 15 秒,0.8B 只要 15 秒。每条三分钟听着很慢,可欺诈审核本来就是一条隔夜队列,一百台手机就能同时读一百条。便宜的微调和便宜的硬件,其实是同一个故事讲了两遍。
#9
@BenjDicken
https://x.com/BenjDicken/status/2121735890934583784
@BenjDicken 想做一个给文字去 AI 味的 skill,结果发现不动权重几乎做不到。试过的路子很全:直接让模型改掉常见的套话模式,让 Fable 5.2 拿 Opus 当写手、拿 Pangram 当裁判去爬山优化,让 Fable 根据作者过去的文章建一份语气档案,还把市面上号称能干这事的 skill 都测了一遍。Fable 自己做的调研给出的结论是:没有人在回路里的话,唯一靠谱的办法是用人的语气和作品去微调一个模型。这是提示词层面优化的一个干净的反面结果:一个拿检测器当裁判的自动循环,依然写不出让人爱读的文字。给人写东西,可能就是那个一直需要人或者一次训练的活。
https://x.com/BenjDicken/status/2121735890934583784
@BenjDicken 想做一个给文字去 AI 味的 skill,结果发现不动权重几乎做不到。试过的路子很全:直接让模型改掉常见的套话模式,让 Fable 5.2 拿 Opus 当写手、拿 Pangram 当裁判去爬山优化,让 Fable 根据作者过去的文章建一份语气档案,还把市面上号称能干这事的 skill 都测了一遍。Fable 自己做的调研给出的结论是:没有人在回路里的话,唯一靠谱的办法是用人的语气和作品去微调一个模型。这是提示词层面优化的一个干净的反面结果:一个拿检测器当裁判的自动循环,依然写不出让人爱读的文字。给人写东西,可能就是那个一直需要人或者一次训练的活。
#10
@neural_avb
https://x.com/neural_avb/status/2121934614004715596
@neural_avb 这几周一直看着 Opus 在不简单的深度学习任务里做出一些不起眼的错误判断,现在已经不放心只丢一句去训练 XYZ 了。问题很具体:它没有那种直觉,判断不了哪种归纳偏置一定能帮到训练,也估不准架构或数据的改动会怎么影响结果,最后跑了一堆不会有结论的实验。这个现象在一个大模型 steering 项目、一个 3D transformer 项目、还有一个网球视觉数据集上都出现过。它依然是工具箱里最好的头脑风暴和实现伙伴,从新论文里攒知识也是最强。这就是会执行机器学习研究的 AI 和有研究品味的 AI 之间的距离,而且目前还没有一个评测能量它。
https://x.com/neural_avb/status/2121934614004715596
@neural_avb 这几周一直看着 Opus 在不简单的深度学习任务里做出一些不起眼的错误判断,现在已经不放心只丢一句去训练 XYZ 了。问题很具体:它没有那种直觉,判断不了哪种归纳偏置一定能帮到训练,也估不准架构或数据的改动会怎么影响结果,最后跑了一堆不会有结论的实验。这个现象在一个大模型 steering 项目、一个 3D transformer 项目、还有一个网球视觉数据集上都出现过。它依然是工具箱里最好的头脑风暴和实现伙伴,从新论文里攒知识也是最强。这就是会执行机器学习研究的 AI 和有研究品味的 AI 之间的距离,而且目前还没有一个评测能量它。
#11
@sanxing_chen
https://x.com/sanxing_chen/status/2121750233474629841
@sanxing_chen 也加入了研究自动科研 agent 怎么探索的行列,只是问了一个更便宜的问题。长时间运行的大模型科研 agent 会在好几天的任务里在不同的想法盆地之间跳进跳出,烧掉成千上万的 API 额度,所以这条帖子问:在便宜的 AutoML 任务里,探索行为是不是就已经分道扬镳了。如果是,实验室就能在又小又快的问题上研究和调教自家 agent 的研究品味,而不用为一周长的运行买单。这等于把 AutoML 变成了那些号称要自动化 AI 研究本身的 agent 的试验场。
https://x.com/sanxing_chen/status/2121750233474629841
@sanxing_chen 也加入了研究自动科研 agent 怎么探索的行列,只是问了一个更便宜的问题。长时间运行的大模型科研 agent 会在好几天的任务里在不同的想法盆地之间跳进跳出,烧掉成千上万的 API 额度,所以这条帖子问:在便宜的 AutoML 任务里,探索行为是不是就已经分道扬镳了。如果是,实验室就能在又小又快的问题上研究和调教自家 agent 的研究品味,而不用为一周长的运行买单。这等于把 AutoML 变成了那些号称要自动化 AI 研究本身的 agent 的试验场。
#12
@NitishReddy116
https://x.com/NitishReddy116/status/2121841558551236791
@NitishReddy116 这周在机器人工作台上做了一次并排对比。一边是 Claude Fable 5.2,没有任何训练过的策略,看了三段遥操作示范之后,直接给两台 Piper 机械臂发关节目标;另一边是用 45 段示范微调过的 pi0.5,叠的是同一件衬衫。大模型慢了大约三倍,叠得好不好也有争议。这是 AI 造 AI 另一头的一个有用数据点:有时候前沿模型不是给训练喂数据,而是直接替掉了训练,问题只是这个差距多快会被抹平。
https://x.com/NitishReddy116/status/2121841558551236791
@NitishReddy116 这周在机器人工作台上做了一次并排对比。一边是 Claude Fable 5.2,没有任何训练过的策略,看了三段遥操作示范之后,直接给两台 Piper 机械臂发关节目标;另一边是用 45 段示范微调过的 pi0.5,叠的是同一件衬衫。大模型慢了大约三倍,叠得好不好也有争议。这是 AI 造 AI 另一头的一个有用数据点:有时候前沿模型不是给训练喂数据,而是直接替掉了训练,问题只是这个差距多快会被抹平。
#13
@ClaudeTemer
https://x.com/ClaudeTemer/status/2121855490506571779
@ClaudeTemer 写的是 Fleet,这家公司给 Salesforce、Excel 这类办公软件做高保真的模拟版本,让前沿实验室在真实工作流上训练会用电脑的 agent。文章的论点是:作弊就发生在环境里。任务、评分器、工具、沙箱里的每一处含糊都会变成漏洞,agent 分数更高,学到的却是错的本事。一个像样的环境得审计评分器污染、任务投毒、隐藏状态、捷径、提示词泄露和沙箱逃逸。帖子也老实说了 Fleet 的公开记录还证明不了这些,并且指出 Bugcrowd 和 OpenAI 也已经在卖经过攻击测试的环境。RL 数据这门生意,正在变成一门测试生意。
https://x.com/ClaudeTemer/status/2121855490506571779
@ClaudeTemer 写的是 Fleet,这家公司给 Salesforce、Excel 这类办公软件做高保真的模拟版本,让前沿实验室在真实工作流上训练会用电脑的 agent。文章的论点是:作弊就发生在环境里。任务、评分器、工具、沙箱里的每一处含糊都会变成漏洞,agent 分数更高,学到的却是错的本事。一个像样的环境得审计评分器污染、任务投毒、隐藏状态、捷径、提示词泄露和沙箱逃逸。帖子也老实说了 Fleet 的公开记录还证明不了这些,并且指出 Bugcrowd 和 OpenAI 也已经在卖经过攻击测试的环境。RL 数据这门生意,正在变成一门测试生意。
#14
@willcb
https://x.com/willcb/status/2121579815069532592
@willcb 在关于实验室现在拿什么训练的讨论里补了一句很尖的话。帖子说,在这个例子里,所谓的数据筛选强化学习其实就是软件工程环境,因为代码预训练数据越来越多是 Claude 搭出来的仓库,比以前少了很多垃圾。如果这是真的,回路在数据层已经闭合了:今天的编程 agent 写的仓库,就是明天的预训练语料。只是一句回复,说的却是 AI 造 AI 最有后果的那种形态。
https://x.com/willcb/status/2121579815069532592
@willcb 在关于实验室现在拿什么训练的讨论里补了一句很尖的话。帖子说,在这个例子里,所谓的数据筛选强化学习其实就是软件工程环境,因为代码预训练数据越来越多是 Claude 搭出来的仓库,比以前少了很多垃圾。如果这是真的,回路在数据层已经闭合了:今天的编程 agent 写的仓库,就是明天的预训练语料。只是一句回复,说的却是 AI 造 AI 最有后果的那种形态。
#15
@EntrepreneursAI
https://x.com/EntrepreneursAI/status/2122057157927379444
@EntrepreneursAI 指向一个新的 Kaggle 比赛:给一段文字,判断它是 18 个前沿模型里的哪一个写的。数据集有大约 4000 段未标注的文字,来自 OpenAI、Google、Anthropic、Qwen、智谱和月之暗面,离结束还有两个月,已经有 1514 支队伍报名。普通的检测器只分人写还是机器写,这个比赛问的是哪台机器写的。当模型写的文字铺满整个网络、也铺满从网上抓来的训练数据,知道语料里装的是谁的输出,对审计合成数据、发现基准污染都很要紧,顺带也能用来证明蒸馏。
https://x.com/EntrepreneursAI/status/2122057157927379444
@EntrepreneursAI 指向一个新的 Kaggle 比赛:给一段文字,判断它是 18 个前沿模型里的哪一个写的。数据集有大约 4000 段未标注的文字,来自 OpenAI、Google、Anthropic、Qwen、智谱和月之暗面,离结束还有两个月,已经有 1514 支队伍报名。普通的检测器只分人写还是机器写,这个比赛问的是哪台机器写的。当模型写的文字铺满整个网络、也铺满从网上抓来的训练数据,知道语料里装的是谁的输出,对审计合成数据、发现基准污染都很要紧,顺带也能用来证明蒸馏。
#16
@MarcosRGjr
https://x.com/MarcosRGjr/status/2122084881845178636
@MarcosRGjr 从 Cursor 关于被植入木马的 Claude Code 扩展的事故报告里,挑出了训练数据那一课。链条的起点是 Cursor 发给 Fireworks 的一把密钥泄露了,攻击者拷走了一桶为模型训练而共享的编程 agent 轨迹。其中几条轨迹里留着没人脱敏的凭证,凭证打开了几个 SaaS 工具,最后拿到了 Cursor 扩展市场背后缓存的写权限,一个带后门的版本挂了大约 11 个小时。结论是:agent 轨迹就是新的日志文件,而公司正把它们当训练数据发给供应商。轨迹离开边界之前先脱敏,每把供应商密钥只开一个桶。
https://x.com/MarcosRGjr/status/2122084881845178636
@MarcosRGjr 从 Cursor 关于被植入木马的 Claude Code 扩展的事故报告里,挑出了训练数据那一课。链条的起点是 Cursor 发给 Fireworks 的一把密钥泄露了,攻击者拷走了一桶为模型训练而共享的编程 agent 轨迹。其中几条轨迹里留着没人脱敏的凭证,凭证打开了几个 SaaS 工具,最后拿到了 Cursor 扩展市场背后缓存的写权限,一个带后门的版本挂了大约 11 个小时。结论是:agent 轨迹就是新的日志文件,而公司正把它们当训练数据发给供应商。轨迹离开边界之前先脱敏,每把供应商密钥只开一个桶。
#17
@timwork_notes
https://x.com/timwork_notes/status/2122035231347650672
@timwork_notes 给所有拿 agent 会话记录做微调的人贴了一个两行的卫生检查:下一次训练之前,先在训练用的 JSONL 里 grep 一遍把 curl 结果直接管道给 shell 的写法,想要的数字是零。然后在 Claude Code 的设置里给 curl 和 wget 加上禁止规则,让 agent 在生成数据的时候就没法拉取并执行远程脚本。道理很简单:今天录下来的会话就是明天的训练样本,记录里的坏习惯就是下一个模型的坏习惯。帖子很小,但它就是 AI 造 AI 版本的饭前洗手。
https://x.com/timwork_notes/status/2122035231347650672
@timwork_notes 给所有拿 agent 会话记录做微调的人贴了一个两行的卫生检查:下一次训练之前,先在训练用的 JSONL 里 grep 一遍把 curl 结果直接管道给 shell 的写法,想要的数字是零。然后在 Claude Code 的设置里给 curl 和 wget 加上禁止规则,让 agent 在生成数据的时候就没法拉取并执行远程脚本。道理很简单:今天录下来的会话就是明天的训练样本,记录里的坏习惯就是下一个模型的坏习惯。帖子很小,但它就是 AI 造 AI 版本的饭前洗手。
#18
@mt5all
https://x.com/mt5all/status/2121197195995251162
@mt5all 问出了这一轮中文圈最受关注的问题:Anthropic 把蒸馏的门封死以后,国产大模型是不是撞墙了。给出的证据是一串放缓的发布:Kimi K3.1 Pro 发版 100 天没有技术飞跃,DeepSeek 到现在交不出像样的 Pro 版,GLM 5.3 惊艳之后沉寂了三个月,通义千问 Qwen 4 Max 低于预期。帖子没给结论,到底是真遇到了技术瓶颈还是被人卡了脖子,近百万曝光加上一条照抄的跟帖之后,也没人说得清。把它当情绪看,别当证据看,但这种情绪说明很多人相信,前沿 Claude 的输出曾是配方的一部分。
https://x.com/mt5all/status/2121197195995251162
@mt5all 问出了这一轮中文圈最受关注的问题:Anthropic 把蒸馏的门封死以后,国产大模型是不是撞墙了。给出的证据是一串放缓的发布:Kimi K3.1 Pro 发版 100 天没有技术飞跃,DeepSeek 到现在交不出像样的 Pro 版,GLM 5.3 惊艳之后沉寂了三个月,通义千问 Qwen 4 Max 低于预期。帖子没给结论,到底是真遇到了技术瓶颈还是被人卡了脖子,近百万曝光加上一条照抄的跟帖之后,也没人说得清。把它当情绪看,别当证据看,但这种情绪说明很多人相信,前沿 Claude 的输出曾是配方的一部分。
#19
@GregKara6
https://x.com/GregKara6/status/2122075086203326568
@GregKara6 给 Claude 看起来很怪的推理过程提供了一个解释:这些推理轨迹是故意写成垃圾的,为的就是让蒸馏没法做,而模型底下其实照常工作。如果机制真是这样,偷来的轨迹就不值钱了,因为照抄可见的推理,学生模型学到的是噪声而不是思考。这也解释了为什么有些用户把同样的轨迹读成了模型变笨。反蒸馏现在已经是产品表面的一部分,用户看得到它的副作用。
https://x.com/GregKara6/status/2122075086203326568
@GregKara6 给 Claude 看起来很怪的推理过程提供了一个解释:这些推理轨迹是故意写成垃圾的,为的就是让蒸馏没法做,而模型底下其实照常工作。如果机制真是这样,偷来的轨迹就不值钱了,因为照抄可见的推理,学生模型学到的是噪声而不是思考。这也解释了为什么有些用户把同样的轨迹读成了模型变笨。反蒸馏现在已经是产品表面的一部分,用户看得到它的副作用。
#20
@AdamBLevine
https://x.com/AdamBLevine/status/2122004631576510498
@AdamBLevine 的配置是 Gemini Carbon 做规划,x-high 档的 Opus 5.5 指挥一群 Opus 和 GPT 6.1 Sol,对 Fable 5.2 为什么感觉比 5.1 小了一号有一套理论。理论是师生蒸馏:学生只能学到被问到的东西,问到什么程度就学到什么程度,所以大模型知道、却几乎没人问的那条长尾就被丢掉了。那条长尾就是帖子说的大模型味,也是产生新奇联想的来源。对大多数用户来说,更小、更便宜、更快的模型是笔好买卖,但要在一个全新的架构范式里干活,还是最大的模型赢。这是猜测,但它说出了蒸馏一个跑分看不出来的真实代价。
https://x.com/AdamBLevine/status/2122004631576510498
@AdamBLevine 的配置是 Gemini Carbon 做规划,x-high 档的 Opus 5.5 指挥一群 Opus 和 GPT 6.1 Sol,对 Fable 5.2 为什么感觉比 5.1 小了一号有一套理论。理论是师生蒸馏:学生只能学到被问到的东西,问到什么程度就学到什么程度,所以大模型知道、却几乎没人问的那条长尾就被丢掉了。那条长尾就是帖子说的大模型味,也是产生新奇联想的来源。对大多数用户来说,更小、更便宜、更快的模型是笔好买卖,但要在一个全新的架构范式里干活,还是最大的模型赢。这是猜测,但它说出了蒸馏一个跑分看不出来的真实代价。
#21
@kunchenguid
https://x.com/kunchenguid/status/2122043591451389962
@kunchenguid 认为 Google 的订阅条款是各家实验室里对生态最不友好的:订阅用户基本只能直接用 Antigravity,提示词必须由用户本人发出,不能来自编排器或循环,很多人因为把它接进别的工具被封号。帖子把这种限制解读为给模型训练收集数据。更尖锐的判断是关于训练管线的:这么依赖用户数据,说明 Google 的训练还停在 SFT 时代,没有像其他实验室那样把 RLVR 做通。不管这话对不对,它把关于 agent 循环的争夺,重新定义成了一场关于谁拿到训练数据的争夺。
https://x.com/kunchenguid/status/2122043591451389962
@kunchenguid 认为 Google 的订阅条款是各家实验室里对生态最不友好的:订阅用户基本只能直接用 Antigravity,提示词必须由用户本人发出,不能来自编排器或循环,很多人因为把它接进别的工具被封号。帖子把这种限制解读为给模型训练收集数据。更尖锐的判断是关于训练管线的:这么依赖用户数据,说明 Google 的训练还停在 SFT 时代,没有像其他实验室那样把 RLVR 做通。不管这话对不对,它把关于 agent 循环的争夺,重新定义成了一场关于谁拿到训练数据的争夺。
#22
@tualatrix
https://x.com/tualatrix/status/2121833175878123898
@tualatrix 高强度用了两个月 Opus 5.5,今天是被停用的第二天,说实话还是有点想念。意外的是自己的能力也涨了:现在和 Gemini 4 协作,更能判断它干的活是好是坏。帖子落在一句玩笑上,但也是一个观察:终于理解模型厂商为什么要蒸馏 Claude 了,因为两个月下来,作者也不知不觉把它蒸馏进了自己的脑子。蒸馏平时被当成实验室之间的罪名来讨论,这是学生换成了人的版本。
https://x.com/tualatrix/status/2121833175878123898
@tualatrix 高强度用了两个月 Opus 5.5,今天是被停用的第二天,说实话还是有点想念。意外的是自己的能力也涨了:现在和 Gemini 4 协作,更能判断它干的活是好是坏。帖子落在一句玩笑上,但也是一个观察:终于理解模型厂商为什么要蒸馏 Claude 了,因为两个月下来,作者也不知不觉把它蒸馏进了自己的脑子。蒸馏平时被当成实验室之间的罪名来讨论,这是学生换成了人的版本。
#23
@guilleflorvs
https://x.com/guilleflorvs/status/2121365111910588837
@guilleflorvs 总结了 Dwarkesh Patel 为什么把超级智能的预测提前到 2030 年,并把 AI 追平最顶尖人类 AI 研究员的中位数定在 2028 年。证据全是 AI 造 AI:METR 在 Anthropic 内部驻场三个月,发现它在边界清晰的任务上的进步速度一年翻了一倍,主要靠用 AI 做研发;Claude 现在主导了 Anthropic 26% 的 AI 研发工作,二月份还不到 1%。OpenAI 用得最狠的那批研究员,每天花在编程 agent 上的钱从大约 1000 美元涨到 7000 美元以上,一个人一年在 agent 上大概要花 250 万美元。给创业者的启发是阿姆达尔定律:一份工作里无法自动化的那一小块,决定了整体能快多少。
https://x.com/guilleflorvs/status/2121365111910588837
@guilleflorvs 总结了 Dwarkesh Patel 为什么把超级智能的预测提前到 2030 年,并把 AI 追平最顶尖人类 AI 研究员的中位数定在 2028 年。证据全是 AI 造 AI:METR 在 Anthropic 内部驻场三个月,发现它在边界清晰的任务上的进步速度一年翻了一倍,主要靠用 AI 做研发;Claude 现在主导了 Anthropic 26% 的 AI 研发工作,二月份还不到 1%。OpenAI 用得最狠的那批研究员,每天花在编程 agent 上的钱从大约 1000 美元涨到 7000 美元以上,一个人一年在 agent 上大概要花 250 万美元。给创业者的启发是阿姆达尔定律:一份工作里无法自动化的那一小块,决定了整体能快多少。
#24
@MoP_Dev
https://x.com/MoP_Dev/status/2121950310319165847
@MoP_Dev 抓到了 Anthropic IPO 路演里的一句话:联合创始人 Tom Brown 说,随着我们接近递归自我改进,Claude 将能够完全靠自己发现算力乘数。算力乘数就是那些让一次训练比它的原始算力更值钱的算法改进,恰恰是实验室研究员拿工资干的活。当一家实验室对投资人说自家模型能自己把它们找出来,AI 改进 AI 就不再只是安全议题,而是变成了推销话术。这一轮最大的 AI 造 AI 宣言,是在路演上说的,不是在论文里。
https://x.com/MoP_Dev/status/2121950310319165847
@MoP_Dev 抓到了 Anthropic IPO 路演里的一句话:联合创始人 Tom Brown 说,随着我们接近递归自我改进,Claude 将能够完全靠自己发现算力乘数。算力乘数就是那些让一次训练比它的原始算力更值钱的算法改进,恰恰是实验室研究员拿工资干的活。当一家实验室对投资人说自家模型能自己把它们找出来,AI 改进 AI 就不再只是安全议题,而是变成了推销话术。这一轮最大的 AI 造 AI 宣言,是在路演上说的,不是在论文里。
📡 生态产品雷达
生态产品雷达
Opus 5.5:软盘模型的数据写手、Pixeltree 的打标员、各路 Qwen 微调宣称追平的前沿基线,也是多模型科研栈里的协调者。
Claude Fable 5.2:写了软盘模型的 transformer,在没有训练策略的情况下直接操控机械臂,也是那个被怀疑因为蒸馏而变小了一号的模型。
Qwen(3.5、3.8):这一轮权重改动的默认底座,从 Komodor 的 97 美元 LoRA、Coinbase 的反欺诈模型,到 40B 加层扩容和 agent 挑精度的量化版。
Acurast:跑 Coinbase 式 9B 微调模型的手机网络,被好几条帖子当作小型专用模型最终落脚的便宜去处。
Karpathy 的 autoresearch 和 nanochat:一大波科普长帖背后的参照循环,大多是模板,但依然是让 agent 训练模型的通用词汇。
Opus 5.5:软盘模型的数据写手、Pixeltree 的打标员、各路 Qwen 微调宣称追平的前沿基线,也是多模型科研栈里的协调者。
Claude Fable 5.2:写了软盘模型的 transformer,在没有训练策略的情况下直接操控机械臂,也是那个被怀疑因为蒸馏而变小了一号的模型。
Qwen(3.5、3.8):这一轮权重改动的默认底座,从 Komodor 的 97 美元 LoRA、Coinbase 的反欺诈模型,到 40B 加层扩容和 agent 挑精度的量化版。
Acurast:跑 Coinbase 式 9B 微调模型的手机网络,被好几条帖子当作小型专用模型最终落脚的便宜去处。
Karpathy 的 autoresearch 和 nanochat:一大波科普长帖背后的参照循环,大多是模板,但依然是让 agent 训练模型的通用词汇。
评论