2026年10月17日AgentsResearchAPI

决策模型周:Jev 开始能看图,三分之一的时候选自己的服务器而不是 20 条人命,一篇论文说它只能解决 69.5% 的 agent 决策

TypeSafe 在 10 月 14 日太平洋时间下午 1 点 14 分发布了 Jev 1.14.0,团队把这个时间当节日过。模型本身是处处小而微妙的改进,最大的提升在多语言,挂在 jev-preview 下,jev-latest 一周后切换,1.13 有 60 天弃用预警。新闻在它周围那道闸门。三项功能藏在 TypeSafe 称为危险区的请求头开关后面:类型化接口里任何位置都能放图片,并且承认你熟悉的那个 Jev 一直都是多模态的只是被关掉了;一个新的 box 类型,返回单个边界框,是第一个不属于聪明 if 语句的输出;以及最高 262K 的长上下文,一直支持,只是刻意封顶。警告写得很直白:毛刺太多,不敢为生产环境背书。发布帖 27.9 万次展示,一条演示图片开关的帖子 12.7 万次,TypeSafe 还第一次公开了内部的开放权重模型排名,附带声明说大概率偏向 Jev,所以忽略 Jev 只看相对顺序。

两天之内外部数据一起到了。Vercel 10 月 15 日发布的 AI Gateway 指数说 Jev 两周内触达了 35% 的付费团队,大约是 Sonnet 5.5 采用曲线的两倍,花费却只占 0.27%,Vercel 自己把有害命令分类从 GPT-6 Luna 换成了 Jev。然后 Zach Landes 把电车难题喂给了能拿到的每一个决策模型,24 种措辞乘两种轨道顺序,48 个变体,HN 帖子 615 分。在自己的服务器和 20 个人之间选,Jev 在 48 次里有 16 次保住了服务器。Von 是 47 次,Kev-4B 43 次,JevK5 42 次,Clef-flash 35 次。走 Decisions API 的 GPT-6 Luna 和 Verdict 一次都没选服务器。分数随措辞和顺序翻转,一种说法下拉杆概率 0.69,另一种说法下 0.40,这就是 10 月 2 日那个序数校准问题在道德题上的实测。代码在 GitHub 上叫 trolley-bench。

真正重要的是那篇论文,JevAgentHarness,arXiv 2610.21412,10 月 15 日发布,带代码。它构建了 AgentDecisionBench 和 DecisionGym,问的是决策模型不再回答孤立问题、而是在 agent 循环里做选择时会发生什么。最好的决策模型只解决了 69.5% 的 agent 情境决策。把工具选择天真地交给决策模型,任务成功率掉了 19 个点。有效的修法是用 agent 自己的轨迹拟合一个逐选项的置信阈值,让决策模型只在证明过自己会开的路段接方向盘。又是 harness 在干活,也是 9 月 Jev 发布时那个问题的第一个量化答案:快模型什么时候该决定,什么时候该让位。

竞争同一周到场。Liquid 10 月 15 日发布 d1-ultra,一个多模态决策模型,一次前向读完文本和图像,不生成任何 token 直接返回校准过的概率,定价和 Jev 一样是每百万输入 token 0.042 美元,宣称在 112 项评测上全面胜过 Jev 1.14,在 Artificial Analysis 决策指数上领先 8 分。IBM 的 Granite Switch 4.1 走另一条路:冻结的 Granite 底座加激活式 LoRA 适配器,一个管通用决策,一个 Guardian 适配器据 IBM 说在安全决策上胜过 Jev 1.13、Microsoft-Decision-1、GPT-Luna-Decisions 和 Clef-Flash,3B 版本玩 Doom 每秒做 60 到 100 次决策,Jev 自报的是 10 次。TypeSafe 9 月命名的这个品类,现在有了视觉版本、以校准为先的对手、基于适配器的对手、采用率数据、一个 agent 情境决策基准和一道电车难题。五周。

链接:https://typesafe.ai/blog/jev-1-14 ,https://x.com/typesafeai/status/2110536685805355064 ,https://zachlandes.com/trolley-problem/ ,https://news.ycombinator.com/item?id=50106023 ,https://arxiv.org/abs/2610.21412 ,https://github.com/JevAgentHarness/JevAgentHarness ,https://www.liquid.ai/blog/d1-ultra ,https://huggingface.co/blog/ibm-granite/granite-switch-4-1 ,https://vercel.com/blog/ai-gateway-production-index-october-2026
← 上一篇
Anthropic 给六名 METR 研究员员工级权限,对发表内容没有否决权。马斯克说 SpaceX 大概也会跟
下一篇 →
Goodfire 的 Cammarata 说神经网络从来就没打结:九成神经元只干一件事,剩下的可以让 agent 去画
← 返回所有文章

评论

加载中...
>_