技能包Skill
hillclimb:Claude API 功能降本
最花钱的 Claude API 调用:先搭测试集,再一档档换便宜模型、降 effort,准确率不掉才算数。
1,710 X 收藏,截至 发帖日期
提示词
读一下这篇指南:https://claude.dev/blog/automating-eval-design-and-hillclimbing/
然后先列出项目里所有调用 Claude API 的地方,估一下哪个最花钱,让我挑一个。用 claude-api skill 里的 build-eval 给它搭一套测试,开跑前先告诉我大概要花多少 API 费用。
测试题和评分方式我确认之后,在新分支上用 hillclimb 优化,目标是准确率不降、成本下降,可以试更低的 effort 和更便宜的模型,包括 Sonnet 5.5。报告里写清三件事:
1. 每一步改了什么,准确率和每次调用的成本各变了多少。
2. 哪些便宜配置做错了,错在哪。
3. prompt 里删掉或加上了哪些句子。
跑完先给我看报告,我确认之前别合并。下一步 在调用 Claude API 的项目里把它发给 Claude Code。
Anthropic 公开了一份指南:他们让 Claude 一轮轮调一个 AI 功能,同样的活最后只花约 1/5 的钱,准确率还更高。你可以让 Claude Code 照着它,用两个命令给你产品里调用 Claude API 的功能也过一遍。
做法就三步:先删掉 prompt 里多余的步骤和互相矛盾的规则,再一档档往下换更便宜的模型、降 effort,最后补上缺的规则。每一步都拿一组它没见过的题验证,准确率掉了就撤回,最后准确率从 78.6% 升到 90.5%。新出的 Sonnet 5.5 能力和 Opus 5.5 相近,但更便宜、更快,想用它也照这个顺序先量一遍。
把这段 prompt 发给 Claude Code。
