Agnost AI：你的 eval 看不见用户在骂你的 Agent
你的 eval 说 Agent 答对了。而用户在前两轮已经在骂它，然后没转化就走了。这两件事同时成立。但只有一件会出现在你的看板上。
Agnost AI 是今天在 Hacker News 上发布的 YC S26 公司，冲的就是这个盲区。它去读生产环境里真实的文字和语音对话，把行为层面的失败信号捞出来：用户在暴躁提示（说人话就是在骂你的 Agent）、把同一个需求换五种说法重问、在纠正 Agent、在要一个根本不存在的功能，或者在一个「技术上成功」的回答之后直接走人。把它接到你的流量上，它会生成真正贴合你产品的失败分类——流程断裂、重试死循环、上手摩擦、流失风险——然后直接开一个经过审核的 PR 去修。
这个切入点很锋利，因为它点破了整个 eval 行业一直在绕着走的那个缺口：基准测的是 Agent 有没有完成任务，它看不见屏幕那头的人已经决定「不值得费这个劲」。任务成功和用户成功是两个变量，而只有一个给你交钱。
公司从 YC S26 出来，拿了 25 万美元 pre-seed，Entrepreneurs First 投的，创始人是 Shubham Palriwala 和 Gourab Saha。难点在精度：挫败感是个很吵的信号，一个用户每换句话就报警的系统，最后会变成又一个没人打开的看板。但原材料就摆在每一家 Agent 公司的数据库里，没人读过。这块金子早晚有人来挖。
https://agnost.ai/
← 返回所有文章
Agnost AI 是今天在 Hacker News 上发布的 YC S26 公司，冲的就是这个盲区。它去读生产环境里真实的文字和语音对话，把行为层面的失败信号捞出来：用户在暴躁提示（说人话就是在骂你的 Agent）、把同一个需求换五种说法重问、在纠正 Agent、在要一个根本不存在的功能，或者在一个「技术上成功」的回答之后直接走人。把它接到你的流量上，它会生成真正贴合你产品的失败分类——流程断裂、重试死循环、上手摩擦、流失风险——然后直接开一个经过审核的 PR 去修。
这个切入点很锋利，因为它点破了整个 eval 行业一直在绕着走的那个缺口：基准测的是 Agent 有没有完成任务，它看不见屏幕那头的人已经决定「不值得费这个劲」。任务成功和用户成功是两个变量，而只有一个给你交钱。
公司从 YC S26 出来，拿了 25 万美元 pre-seed，Entrepreneurs First 投的，创始人是 Shubham Palriwala 和 Gourab Saha。难点在精度：挫败感是个很吵的信号，一个用户每换句话就报警的系统，最后会变成又一个没人打开的看板。但原材料就摆在每一家 Agent 公司的数据库里，没人读过。这块金子早晚有人来挖。
https://agnost.ai/
评论