AiSOC v21 自曝：评测说不清是哪个模型答的，核心指标砍掉近一半
这种 release note，应该有更多 agent 产品来写。开源 AI 安全运营中心项目 AiSOC 11 月 1 日发了 v21.0.0，现在挂在 GitHub 日榜上，一天大约 436 星，总共 6200 左右。
最主要的改动是溯源。这个版本之前，它公开的每一行裁决评测数据里，"实际是哪个模型答的"那一栏都是空的：72 次 LLM 调用发出去、也拿到了回答，却没人说得清是哪个模型回答的。现在它先从网关的响应头里读模型名，算作已验证；读不到才退回去看响应体里的 model 字段，算作自报。每张评分卡都带一个溯源状态：已验证、自报、无法归属、服务模型不一致、没有调用。
第二个改动更疼。修了一个分组逻辑，不再把不相关的告警算进同一组之后，它测出来的告警压缩率从 42.6% 掉到了 24.5%。这是项目自己的核心指标，因为原来统计口径错了，几乎腰斩。
这件事的意义不止一个仓库。agent 系统中间要过网关、降级备用模型、模型别名，大多数评测看板都默认自己知道每个回答出自哪个模型。AiSOC 发现自己其实不知道，然后把这个漏洞和修正后的数字一起公开了。如果你的 agent 评测没有从网关那一侧记录实际服务的模型，很可能也有同样的漏洞。
发布页：https://github.com/beenuar/AiSOC/releases/tag/v21.0.0
← 返回所有文章
最主要的改动是溯源。这个版本之前，它公开的每一行裁决评测数据里，"实际是哪个模型答的"那一栏都是空的：72 次 LLM 调用发出去、也拿到了回答，却没人说得清是哪个模型回答的。现在它先从网关的响应头里读模型名，算作已验证；读不到才退回去看响应体里的 model 字段，算作自报。每张评分卡都带一个溯源状态：已验证、自报、无法归属、服务模型不一致、没有调用。
第二个改动更疼。修了一个分组逻辑，不再把不相关的告警算进同一组之后，它测出来的告警压缩率从 42.6% 掉到了 24.5%。这是项目自己的核心指标，因为原来统计口径错了，几乎腰斩。
这件事的意义不止一个仓库。agent 系统中间要过网关、降级备用模型、模型别名，大多数评测看板都默认自己知道每个回答出自哪个模型。AiSOC 发现自己其实不知道，然后把这个漏洞和修正后的数字一起公开了。如果你的 agent 评测没有从网关那一侧记录实际服务的模型，很可能也有同样的漏洞。
发布页：https://github.com/beenuar/AiSOC/releases/tag/v21.0.0
评论