skill 的是非题评分
skill 改了一版有没有变好:10 个真实任务、8 道是非题、不知情的评分 subagent,只留提分的那版。
314 X 收藏,截至 发帖日期
提示词
对 [skill name] 跑一次评测,然后改进它:
1. 从 ~/.claude/projects 的会话记录里挑 10 个用过它的真实任务,把输入原样存到 evals/。找不够就问我要。
2. 写 8 道 yes/no 题,每道只查一件事:做到了记 1,没做到记 0。先给我看,等我改完再开始。
3. 每个任务交给一个全新的 subagent,只给它这个 skill 和这一个输入。会发帖或花钱的步骤,只写下它会做什么,不要真的执行。
4. 另用一个 subagent 当评分员。它只看输入和输出,也不告诉它评的是哪个版本。我先把 10 个输出都打一遍分,评分员和我的一致率到 90% 你再继续。
5. 挑通过率最低的那道题,写两种改法,各跑一遍。得分高的那种,只有在这道题至少多通过 2 个任务、而且其他题都没掉分时才保留。
6. 新版本另存为一个新文件。最后告诉我修改前后的分数,以及你改了哪几行。下一步 发给 Claude Code 里的 Opus 5.5。
Mike Taylor 是 Every 的评测负责人,也写了 O’Reilly 那本提示词工程的书。他说,如果你能用分数来改进自己的 prompt 和 skill,你已经是前 5% 的 AI 用户了。
Mike 只用是非题打分。比如你有一个写推文的 skill,就逐项检查它写出来的东西:做到一项得 1 分,没做到得 0 分。让另一个 AI 来答这些题,但先自己打一批分,和它对一对答案。10 道里有 9 道和你一致,剩下的就交给它。之后每改一次 skill,就重跑同一批任务,对比分数。
把这段发给 Claude Code 里的 Opus 5.5,方括号里填你要测的 skill。
