决策模型终于有考卷了：当裁判比当选手强
Perplexity 把自家线上用的分类器换成了决策模型，还把提升幅度公开了。Decider v1.3 和蒸馏出来的 Decider Flash 以 Apache-2.0 开源（博客标的日期是 11 月 12 日，11 月 13 日上了 Hacker News）：https://www.perplexity.ai/hub/blog/perplexity-decider 。用法很简单，给它一段输入加几个带固定选项的问题，一次前向就吐出每个问题的概率分布。Perplexity 直说灵感来自 TypeSafe AI 的 System One 模型 Jev。在 63 个内部查询分类任务上，比如这条查询要不要触发联网搜索，v1.3 平均准确率 91.6%，比之前用的向量加分类头方案高 6.54 个点。它现在还在实时盯着 Perplexity 自家 agent 的活动日志，查安全策略。
最有意思的是稳定性。把选项打乱或者换个标签，Decider 改答案的概率是 0.27%，Jev 是 2.69% 到 4.84%。同一个输入发两遍，Decider 一次没变，Jev 有 1.88% 会变。评测集来自 Decision API 上线头 18 天的 100 万条去重、脱敏的真实请求。这些都是 Perplexity 自己的数，而且它自己也提醒，公开的决策模型排行榜是可以刷的。权重在这里：https://huggingface.co/perplexity-ai/pplx-decider-v1.3
所以 11 月 13 日 Hugging Face 榜首那篇论文就很关键。SO-Arena（72 票，https://arxiv.org/abs/2611.15777）是专门给 System One 模型做的考卷：11 个领域，标签逐条人工核对过模型到底能看到什么，有交互式沙箱任务，可靠性按选项集变了之后决策还稳不稳来打分。另一篇《Actor, Judge, or Teacher?》（https://arxiv.org/abs/2611.17167）结论更扎心。让决策模型在 ALFWorld、WebShop 上自己开车，它跟大模型一样会被更简单的子目标带偏。可要是让它看完整条轨迹，问这一步有没有帮上忙，它就能把功劳记对。拿 Jev 当老师，一个 Qwen2.5-1.5B 的 GRPO 小模型在 ALFWorld 上从 72.8% 涨到 82.9%，WebShop 从 56.8% 涨到 71.4%。作者原话：烂选手也能当好教练。
拼起来看，局面已经很清楚。亚马逊的 Strands Decider、谷歌的 Decisions API、Cloudflare、TypeSafe，再加上 Perplexity，都在卖只做选择题、不写作文的小模型。而研究告诉你，它们最好的位置不是驾驶座，是裁判席：给每一步打分，盯日志。同一个月里冒出五家厂商，外加第一份正经考卷，这个赛道马上就要挤了。
← 返回所有文章
最有意思的是稳定性。把选项打乱或者换个标签，Decider 改答案的概率是 0.27%，Jev 是 2.69% 到 4.84%。同一个输入发两遍，Decider 一次没变，Jev 有 1.88% 会变。评测集来自 Decision API 上线头 18 天的 100 万条去重、脱敏的真实请求。这些都是 Perplexity 自己的数，而且它自己也提醒，公开的决策模型排行榜是可以刷的。权重在这里：https://huggingface.co/perplexity-ai/pplx-decider-v1.3
所以 11 月 13 日 Hugging Face 榜首那篇论文就很关键。SO-Arena（72 票，https://arxiv.org/abs/2611.15777）是专门给 System One 模型做的考卷：11 个领域，标签逐条人工核对过模型到底能看到什么，有交互式沙箱任务，可靠性按选项集变了之后决策还稳不稳来打分。另一篇《Actor, Judge, or Teacher?》（https://arxiv.org/abs/2611.17167）结论更扎心。让决策模型在 ALFWorld、WebShop 上自己开车，它跟大模型一样会被更简单的子目标带偏。可要是让它看完整条轨迹，问这一步有没有帮上忙，它就能把功劳记对。拿 Jev 当老师，一个 Qwen2.5-1.5B 的 GRPO 小模型在 ALFWorld 上从 72.8% 涨到 82.9%，WebShop 从 56.8% 涨到 71.4%。作者原话：烂选手也能当好教练。
拼起来看，局面已经很清楚。亚马逊的 Strands Decider、谷歌的 Decisions API、Cloudflare、TypeSafe，再加上 Perplexity，都在卖只做选择题、不写作文的小模型。而研究告诉你，它们最好的位置不是驾驶座，是裁判席：给每一步打分，盯日志。同一个月里冒出五家厂商，外加第一份正经考卷，这个赛道马上就要挤了。
评论