NVIDIA SkillEvaluator:你的 skill 到底有没有让 agent 变强
agent skill 冒出来的速度,远快于有人去检查它们的速度。这个周日的 GitHub Trending 上同时挂着三个 skill 合集,从交易策略到红队工具包都有,没有一个给出证据说装上之后 agent 真的更强。NVIDIA 的 SkillEvaluator 就是冲着这个问题来的,当天每天 205 星,总数约 1600。仓库:https://github.com/NVIDIA/SkillEvaluator ,文档:https://docs.nvidia.com/skills/skillevaluator/
它按 Agent Skills 规范给一个 skill 文件夹分层打分。第一层是静态检查,质量、安全、隐私信息,不需要 API key。第二层查这个 skill 和其他 skill 在语义上有没有重叠。第三层才是关键:同一套数据集,让 agent 装着 skill 跑一遍,不装再跑一遍,报告两者的差距。NVIDIA 把这个数叫 Skill Lift,pass@k 只作为稳定性的辅助指标。pip install skillevaluator 装上命令行,skillevaluator ci init 会开一个配置 PR,之后每个 PR 里改动过的 skill 都会被自动检查。它本身也能当 skill 装进 agent,直接问 agent 我这个 skill 行不行。Apache-2.0 协议,属于 NVIDIA 的 Verified Skills 流水线。
0.9.0 是 11 月 13 日发的,早于这个时间窗,所以这次算热度上榜,不算新发布。这个版本的重点是让评分者本身可信。数据集可以从 skill 说明、作者意图或真实运行记录生成,但预期结果必须经过人工明确审核才会生效。可以复用不带 skill 的基线,跨版本对比 skill 的进步,给 token、评审调用次数和美元花费设上限,超限停下时保留部分结果。还有一个 tier3 validate-grader 命令专门检验评分器自己,每一次评审的请求和回复都留档可查。
措辞上变化不大,实际意义很大。以前问的是这个 skill 写得好不好,现在问的是装上它之后 agent 的分数是不是更高,而且每次用同一种方式量。这是验证器即产品的思路,用在了 agent 技术栈里长得最快、测得最少的那一层。没有提升数字的 skill 市场,就像没有评分的应用商店。
← 返回所有文章
它按 Agent Skills 规范给一个 skill 文件夹分层打分。第一层是静态检查,质量、安全、隐私信息,不需要 API key。第二层查这个 skill 和其他 skill 在语义上有没有重叠。第三层才是关键:同一套数据集,让 agent 装着 skill 跑一遍,不装再跑一遍,报告两者的差距。NVIDIA 把这个数叫 Skill Lift,pass@k 只作为稳定性的辅助指标。pip install skillevaluator 装上命令行,skillevaluator ci init 会开一个配置 PR,之后每个 PR 里改动过的 skill 都会被自动检查。它本身也能当 skill 装进 agent,直接问 agent 我这个 skill 行不行。Apache-2.0 协议,属于 NVIDIA 的 Verified Skills 流水线。
0.9.0 是 11 月 13 日发的,早于这个时间窗,所以这次算热度上榜,不算新发布。这个版本的重点是让评分者本身可信。数据集可以从 skill 说明、作者意图或真实运行记录生成,但预期结果必须经过人工明确审核才会生效。可以复用不带 skill 的基线,跨版本对比 skill 的进步,给 token、评审调用次数和美元花费设上限,超限停下时保留部分结果。还有一个 tier3 validate-grader 命令专门检验评分器自己,每一次评审的请求和回复都留档可查。
措辞上变化不大,实际意义很大。以前问的是这个 skill 写得好不好,现在问的是装上它之后 agent 的分数是不是更高,而且每次用同一种方式量。这是验证器即产品的思路,用在了 agent 技术栈里长得最快、测得最少的那一层。没有提升数字的 skill 市场,就像没有评分的应用商店。
评论