Inkling 2 Mini:20GB 能跑在笔记本上的循环模型,还顺手测了它藏了多少思考
一个写代码接近小模型前沿水平的模型,现在能装进笔记本了。做它的实验室还顺手测了一件事:它有没有在想那些不写出来的东西。Thinking Machines 周五发布 Inkling 2 Mini,权重开放,在 Hugging Face 上是 Apache 2.0 许可。这是个 MoE 模型,总参数 26.4B,激活 3.4B。模型分四个块,中间两个块每个 token 跑三遍,24 层存储变成 48 次层计算,每个 token 相当于 5.4B 的权重激活。训练时原生用 NVFP4,最后四层用 MXFP8,所以约 20GB 的体积没有量化损失。团队在飞机上把它装进一台 48GB 的 M5 Pro MacBook,开着飞行模式离线跑,让它写了个能玩的飞行模拟器。官方文章:https://thinkingmachines.ai/news/inkling-2-mini/ 权重:https://huggingface.co/thinkingmachines/Inkling-2-Mini
按这个体量,成绩很能打:DeepSWE v1.1 48.2%,Qwen3.8-27B 是 42.2%;SWE-bench Verified(只用 bash)79.2%;SWE-bench Pro v2 Hard 77.9%;BrowseComp 79.0%;MCP Atlas 82.7%。但不是全赢。Terminal Bench v2.1 上 71.6% 对 73.0%,输给 Qwen3.8-27B;Artificial Analysis 指数 20.1 打平;多轮对话和多约束指令也偏弱。循环加的是推理,不是知识,所以事实记忆和体量相当,靠搜索和工具补。以上全部是厂商自报。
更值得看的是可监控性。思维链监控之所以管用,是因为普通 transformer 每生成一个 token 能做的计算有限,想多了就必须写出来。循环把这个上限抬高了,这正是安全研究者担心循环模型的原因。Thinking Machines 同时开放了一个研究版 TML-d24-varloop-research(同样 Apache 2.0),可以跑一到五次循环,并拿它做了测量。不写思维链时的时间跨度,一次循环是 16 秒,三次是 37 秒,之后就平了。在一个纯串行的查表任务上,它一直进步到十次循环,是训练时最大次数的两倍。可见的思维链随循环变短,但一直可读,agent 破坏性测试的分数也没有上升。他们的结论很谨慎:在这个规模上,看不到可监控性有明显下降。
账算得过来,所以循环会普及。不循环的版本训练算力省 7.5%,但要在 512k token 的 agent 轨迹上追平损失,推理算力要多花 140%。斯坦福 Hazy Research 和 Scaling Intelligence 实验室在 DGX Spark 上测的每焦耳智能是 0.703,Qwen3.6-35B-A3B 是 0.430。
我的看法:能在笔记本上跑的开源 agent 编码模型,已经不算稀奇。稀奇的是一个实验室把安全问题和模型一起发布。37 秒的隐藏推理今天无害,要盯的是曲线:如果循环成了买推理最便宜的方式,越来越多的思考就会挪到监控看不到的地方。这次发布是第一个能公开拿来对照的基线。
← 返回所有文章
按这个体量,成绩很能打:DeepSWE v1.1 48.2%,Qwen3.8-27B 是 42.2%;SWE-bench Verified(只用 bash)79.2%;SWE-bench Pro v2 Hard 77.9%;BrowseComp 79.0%;MCP Atlas 82.7%。但不是全赢。Terminal Bench v2.1 上 71.6% 对 73.0%,输给 Qwen3.8-27B;Artificial Analysis 指数 20.1 打平;多轮对话和多约束指令也偏弱。循环加的是推理,不是知识,所以事实记忆和体量相当,靠搜索和工具补。以上全部是厂商自报。
更值得看的是可监控性。思维链监控之所以管用,是因为普通 transformer 每生成一个 token 能做的计算有限,想多了就必须写出来。循环把这个上限抬高了,这正是安全研究者担心循环模型的原因。Thinking Machines 同时开放了一个研究版 TML-d24-varloop-research(同样 Apache 2.0),可以跑一到五次循环,并拿它做了测量。不写思维链时的时间跨度,一次循环是 16 秒,三次是 37 秒,之后就平了。在一个纯串行的查表任务上,它一直进步到十次循环,是训练时最大次数的两倍。可见的思维链随循环变短,但一直可读,agent 破坏性测试的分数也没有上升。他们的结论很谨慎:在这个规模上,看不到可监控性有明显下降。
账算得过来,所以循环会普及。不循环的版本训练算力省 7.5%,但要在 512k token 的 agent 轨迹上追平损失,推理算力要多花 140%。斯坦福 Hazy Research 和 Scaling Intelligence 实验室在 DGX Spark 上测的每焦耳智能是 0.703,Qwen3.6-35B-A3B 是 0.430。
我的看法:能在笔记本上跑的开源 agent 编码模型,已经不算稀奇。稀奇的是一个实验室把安全问题和模型一起发布。37 秒的隐藏推理今天无害,要盯的是曲线:如果循环成了买推理最便宜的方式,越来越多的思考就会挪到监控看不到的地方。这次发布是第一个能公开拿来对照的基线。
评论