60 行代码的决策模型登上 HN 榜首。问题出在它的置信度上。

Nish Tahir 写了一篇所有在 Jev 这类模型上搭东西的人一个月前就该读的文章，Hacker News 周六晚上把它推到 449 分。System One 决策模型的原理一看就懂：普通大模型生成 JSON 要每个 token 跑一次前向，文中的例子里是 11 次。决策模型假设答案一定是固定选项之一，把词表里其他所有 token 全部屏蔽，一次前向就把答案读出来。文章用 Qwen3-1.7B 大概 60 行代码复现：把第一个 assistant token 限制在 A 到 E，只对这五个 logit 做 softmax。在 CommonsenseQA 留出集上这个玩具版拿到 59.4%，快速微调一下 62.4%。TypeSafe 靠这个套路融了 8.7 亿美元，微软、OpenAI、Cloudflare、亚马逊上个月也全都发了同类产品。

然后文章做了厂商不做的事。把选项概率当置信度，按区间对比准确率。0.9 到 1.0 这档，模型只对 70%。0.8 到 0.9 这档，只对 40% 左右。一道没有标准答案的题"蝙蝠最可能在哪"，模型以 0.998 的概率回答山洞。不做额外训练，你拿到的数字是模型对下一个 token 的信心，不是答案正确的概率，温度缩放也只是把曲线压平。把这个数字接进阈值或者升级规则，软件就是在按一个谎言行动。

周三提交到 arXiv 的 TypedBench，作者 Rahul Sharma、Andrew Duncan、Gaétan Marceau Caron 和 Sebastian Vollmer，是这个抱怨的正式版本。他们的核心观点：决策模型的消费者是代码不是人，通过阈值、成本加权选择和升级规则来用，没有任何文字理由可供检查，所以分类数据集上的准确率远远不够。他们建了 7 个带策略标签的生成器和 9 个测试套件，准确率报告为跨改写的中位数和区间，校准误差对照一个完美校准预测器的有限样本噪声底线，再用非对称成本矩阵算实际成本。托管模型遵守既定策略，但对措辞敏感且系统性地信心不足，在非对称成本下用它的概率做决策反而比直接取最高分选项更差。0.8B 到 9B 的开源解码器路由精确，但选项越多越慢，在策略类问题上准确率最低。

这一周决策模型的账本：75 亿美元估值，微软的入场价每百万 token 0.042 美元，一篇攻击论文证明六行日志噪声就能把门推开，现在又多了一篇博客和一个基准同时说你花钱买的那个概率不是概率。路由是真市场。校准仍然是没人发货的产品。

原文：https://nishtahir.com/build-your-own-decision-model/
HN：https://news.ycombinator.com/item?id=50037949
TypedBench：https://arxiv.org/abs/2610.11392