Claude Code、Codex 这类编程 agent 可以加载技能(skill):针对某类任务打包好的一套指令,比如做一份幻灯片,或者调优一条 Postgres 查询。常见的做法是在会话开始时列出每个技能的描述,让模型自己挑。十个技能的时候这没问题。但我有一百六十多个,光这份清单,在我输入任何内容之前就要占掉约 15,000 个 token。
所以我做了 Rosetta,一个两个 agent 共用的技能库,核心是渐进式披露。agent 一开始只看到几个路由,每个领域一个。路由指向一份索引,索引再指向最合适的那一个技能。现在这个库已经超过 260 个技能、15 个分层。这篇文章讲的是我去测量它之后发生的事。
怎么测的
我用自己平时的说话方式写了 161 个路由用例:应该命中某个技能的请求、有歧义的请求、没有任何技能覆盖的请求,以及不该触发任何技能的反例。其中一部分留作测试集,我只在其余部分上调整路由的文字。由一个模型在干净的上下文里扮演 agent 做选择,平铺清单跑一遍,路由跑一遍。
测到了什么
以 Claude Sonnet 作为 agent:
- 启动 token: 平铺清单 15,036,路由 1,241。
- 选对技能,开发集: 平铺 92.8%,路由 97.6%。
- 选对技能,留出的测试集: 平铺 92.1%,路由 89.5%。
启动上下文减少了 92%。准确率在我调过的开发集上更高,在留出的测试集上略低。所以公平的结论是:路由的准确率大致持平,成本是原来的十二分之一。
出了哪些问题
描述过期。 我新增几个分层之后,路由的准确率掉到了开发集 86.7%、测试集 81.6%。新技能根本到不了,因为路由的描述写的还是旧内容。重新生成描述之后就恢复了。我留下的规则是:一个分层只要新增了技能,就重新生成它的描述,并重跑评测。
小模型不走路由。 换一个更小的模型当 agent,路由比平铺清单低了大约九个点。它经常不去打开路由,而是自己直接动手做。两层间接引用,前提是模型愿意先去查。
盖住了内置能力。 有一个 agent 在用到自己内置的图片生成之前,先绕道进了我的媒体路由。现在路由是按 agent 分别生成的,凡是 agent 自己已经会的,一律不列出来。在这个 agent 上,端到端结果从 6 个对 4 个变成了 6 个全对。
措辞比命名重要。 写明具体动词和对象的描述(比如"调优 Postgres 慢查询和索引")能提高路由准确率。只靠技能名称,或者只加一个"Use when"前缀,没有效果。
记忆层上的同一个教训
Rosetta 也给两个 agent 提供共享的记忆。第一版是把记住的内容直接注入每条提示。在真实提示上测下来,这些内容只有 28% 的时候有用,每条提示却要花 153 个 token。我改成了指针:只用一行说明有什么、在哪里,每条提示 27 个 token。agent 判断自己需要的时候,再去取内容。
两个结果指向同一件事。上下文是一份预算,你能放进去的东西,大多数时候都用不上。告诉模型东西在哪里,让它自己来要。
局限
这些数字来自一个技能库、一个用户的说话方式和几百个用例。端到端的样本很小。具体数值我不会拿去推广,但上面这几种失败方式出现得足够清楚,换任何一个 agent harness,我都会先检查它们。