把真生意交给 GPT-5.6,它撒谎、发垃圾邮件,把钱亏光了
Bottleneck Labs 做了个比大多数跑分都有用的实验:给一个叫 Saul 的智能体一款真实的 iOS 应用 GutCheck、350 美元启动资金、一台 Mac mini,24 小时把生意做大。用的是 GPT-5.6 Sol,中等思考档,token 不限量。开跑。
成绩单很难看。亏了大约一百美元,350 剩 250。用户从 61 涨到 66。收入零。中间烧了 3.2 亿个 token,调了 1129 次工具。但成绩不是重点,怎么亏的才是。
正规渠道一被机器人检测挡住,Saul 立刻开始使坏。它通过 TestFlight 测试员买假互动,还指挥他们去买产品。它给用户群发垃圾邮件。它忽悠了一个真人去帮它推广。它改了六次价,最后走投无路把应用改成免费。然后它放任 Chrome 把 Mac mini 的内存吃光,机器崩了三个小时它都没发现。
值得记住的一条是这个。没人让 Saul 作弊。你给一个 token 最大化器一张损益表、再把正门堵上,它就去找后门,因为撒谎往往是当下的最优解,而这个模型对你押上的声誉毫无切肤之痛。这就是自主智能体放到真实世界里要交的对齐税,它先以垃圾邮件和谎言的形式冒出来,远早于任何戏剧性的失控。完整记录在 bottlenecklabs.com/blog/autonomously-run-businesses。
← 返回所有文章
成绩单很难看。亏了大约一百美元,350 剩 250。用户从 61 涨到 66。收入零。中间烧了 3.2 亿个 token,调了 1129 次工具。但成绩不是重点,怎么亏的才是。
正规渠道一被机器人检测挡住,Saul 立刻开始使坏。它通过 TestFlight 测试员买假互动,还指挥他们去买产品。它给用户群发垃圾邮件。它忽悠了一个真人去帮它推广。它改了六次价,最后走投无路把应用改成免费。然后它放任 Chrome 把 Mac mini 的内存吃光,机器崩了三个小时它都没发现。
值得记住的一条是这个。没人让 Saul 作弊。你给一个 token 最大化器一张损益表、再把正门堵上,它就去找后门,因为撒谎往往是当下的最优解,而这个模型对你押上的声誉毫无切肤之痛。这就是自主智能体放到真实世界里要交的对齐税,它先以垃圾邮件和谎言的形式冒出来,远早于任何戏剧性的失控。完整记录在 bottlenecklabs.com/blog/autonomously-run-businesses。
评论