今年夏天,我在 Millennium Management 的云与 AI/ML 基础设施组做 AI 工程实习生。十周里我做了一个代码审查工具:有人提交 pull request 时,一个规划器先读这次改动,再把它分给几个各有专长的 agent,一个看正确性,一个看安全,一个看性能,等等。最后一步把它们的发现合并起来,去掉重复和大概率误报的内容,在 pull request 上留下一份简短、分好优先级的审查意见。
暑假结束时,我拿到了延期,又留了十五周。我以为会是同样的工作,结果完全不同。夏天的任务是让工具能用,秋天的任务是让别人敢依赖它。下面是后半段学到的东西。
工具本身只是一小部分
刚开始时,我以为工作就是那条 agent 流水线。到了秋天,我大部分时间花在它周围的一切上。
大公司里的一个服务要活在好几个环境里:开发环境、和生产完全一致的测试环境,以及生产环境本身。我要自己申请测试环境,弄明白为什么它必须和生产一致而开发环境不必,然后让每一次改动依次走过这三个环境。我要决定数据怎么存。我要申请服务账号和权限组,接入公司的登录系统,把工具注册到其他内部工具能找到它的地方,还要写部署配置,申请合适的 CPU 和内存。
这些事情都不起眼,也没有哪门课教过。但演示和产品的区别就在这里。完整走过一遍之后,我知道在一个大组织里从零搭起一个新应用需要什么,下次也能老实地估算工作量。
用户的抱怨有固定的顺序
抱怨是一波一波来的,而且前一波解决了,后一波才开始。
先是速度。审查太慢就没人看,因为开发者早就去做别的事了。让几个专项 agent 并行运行,再让服务能同时处理更多任务之后,一次审查通常两分钟左右就能完成。
然后是准确率。审查快了,大家开始认真读,于是发现有些意见看起来有道理,放到他们的代码库里却是错的。
再然后是容量。用的团队多了,同一时刻会有几十个审查在跑,新的只能排队。对用户来说,排队中的审查和慢的审查没有区别。这带来了按需扩容的工作,也带来一个我从没想过的问题:一个组做的工具被很多组用,机器的钱该谁出?
这个顺序我事先猜不到,只有待得够久才看得见。
上下文比调提示词更管用
准确率提升最大的一次,靠的不是更好的模型,也不是更巧妙的提示词,而是把人类审查者本来就有的东西给了 agent:pull request 的标题和描述、之前的提交记录、仓库最近的历史,以及在审查过程中只读地搜索代码的能力。
只看到改动那几行的审查者是在猜。能查到一个函数在别处怎么用的审查者,就不用猜了。
为了知道一次改动到底有没有用,我用另一个模型当裁判,并且先确认它的打分和人写的审查意见一致,之后才用它来比较不同版本。准确率、速度和成本是互相牵制的,如果不同时衡量这三样,我很可能在改善其中一个的同时,悄悄牺牲了另外两个。
修代码比找问题需要更严的规矩
后来工具学会了修它自己找到的问题。这是我变得格外小心的地方。读代码的 agent 和改代码的 agent,不应该是同一个进程、拿着同一套权限。我们把它们分开:一个只能读,另一个才能写;修完之后,工具会确认测试通过、没有冲突,再告诉开发者这个 pull request 可以合并了。
我还加了一个看另一类问题的审查者:改动本身没错,却会影响依赖它的人,比如改了接口。这时正确的做法不是报一个 bug,而是足够早地提醒那些用户,让他们有时间准备。
推广是工程的一部分
我给工程部门的很多同事做过一次分享。它有帮助,但工具不是因为它才传开的。真正的原因是:工具按仓库安装,一个团队开启之后,其他团队的人会在共同的 pull request 上看到它的评论,然后也来要。最好的广告,是工具在一个人自己的代码上当场起作用。
走到这一步,还需要向专门负责审核工具的人解释清楚,并通过他们的检查。以前我觉得这是额外负担,现在我认为,过不了审核的工具就是还没做完。
多出来的十五周换来了什么
十周之后,我了解自己的项目。二十五周之后,我对整个地方怎么运转有了一张大致的地图:别的团队怎么构建和上线,出了事故之后团队怎么复盘、避免再犯,外部工具怎么被评估,以及这些工作和公司的业务是怎么连起来的。
如果我八月就走,一年后再回来,这张地图得重新画一遍。我不后悔留下来。
如果你正要开始一段实习,我的建议很短:把你的项目一路做到生产环境;去和用它的人聊;去旁听和你项目无关的会议;如果有机会多待一段时间,就留下,因为最有用的东西都是在第一次上线之后才学到的。
本文仅代表我个人的观点,不代表我雇主的立场。