一个人一个月上线 3,000 个 PR,凌晨两点谁来做代码审查?

“所有代码都是垃圾,除了我的。”Lauren Tan 用这句话给自己在 AI Engineer Code Summit 的演讲起了个名字。紧接着,她给台下的工程师出了道难题:如果今晚你去睡觉,什么样的改动,你敢让 Agent 自己合并?

Tan 在 Grok Bot 团队做客户端。按她在台上给出的数字,演讲前一个月,她个人交付到生产环境的 PR 有 3,000 个,全团队约 11,000 个。客户端大约每天发一个稳定版,多个 PR 随同一版本交付。团队统计的约 0.5%,分母是 PR,分子是后来被 revert 的 PR。用户遇到问题、工程师另开 PR 修复,这笔账记在后续修复里。团队还跟踪启动速度、输入响应、打开和切换会话的速度,因为这些才是坐在屏幕前的人每天都能感觉到的东西。演讲与数据原文

这套工作方式花了她大约半年才敢放手。要理解这半年花在哪里,可以从一行很难在代码审查里挑出毛病的代码说起。

Lauren Tan 演讲页面截图:all code is slop (except mine)
读者提供的 Lauren Tan 演讲画面截图;演讲与数据见文中链接。

一个定时器,怎么变成了整个客户端的编程习惯

Tan 回忆在 Cursor 做桌面客户端的经历。底层沿用了 VS Code 的命令式代码,界面用 React 来写。两边对“现在能不能动这个组件”有各自的理解。遇到时序问题,Agent 很容易找到一个局部有效的补丁:用 setTimeout 把操作推迟一下,或者交给 requestAnimationFrame,等下一帧再做。原先复现的问题消失了,旁边还留下一段注释,解释为什么必须等一等。演讲第 6 分 56 秒起

设想下一次任务是“切换会话后,把焦点放回输入框”。Agent 搜索现有实现,很容易翻出上一次的补丁。文件在主分支,代码在生产环境运行,作者连理由都交代了。在缺少其他线索时,把它当作项目惯例相当合理。一次偶然的修复就这样成了下一次开发的样板。等许多组件都学会“等一等”,定时器的创建和销毁叠加起来,垃圾回收带来的停顿终于能被用户察觉。单独重读任何一份 PR,里面那个计时器看起来都花不了多少时间。

这里藏着 AI 辅助开发的一笔维护成本。以前留下一段凑合能跑的代码,团队要付的是将来读懂它、改掉它的工时。现在它还有机会参与接下来几十次实现方案的选择。于是清理老代码有了直接的交付价值:把同一功能的三套旧写法收敛到一个入口,下一个 Agent 搜出来的第一个例子,恰好就是团队愿意长期维护的那个。

把一句评审意见落实到文件和接口上

Grok Bot 团队给 Electron 客户端做了自己的框架 Dune。他们把 React 的 useEffect 收到少数框架 API 内部,产品代码直接使用会被拦下。Electron 的主进程和渲染进程则各有一个名字清楚的顶层目录,团队用依赖图分析和 lint 限制两个目录之间的导入。对注释,他们也采取了很激进的策略,Tan 的说法是禁掉了约 99%。以前写在注释里、指望下一个作者碰巧读到的指导,可以放进 lint 报错,让它在有人写出这类代码时出现。Dune 的工程约束

举个贯穿下文的例子。假设我们也在做一款桌面聊天客户端,收到一个工单:“连续切换会话时,偶尔能看到上一段聊天的内容。”下面是对类似问题的一种工程设计,接口名和测试均为示意。

产品代码里可能有这么一段:

1
2
3
useEffect(() => {
loadMessages(chatId).then(setMessages);
}, [chatId]);

这段代码在普通演示里表现很好。点开 A,消息回来。再点 B,消息又回来。只要把响应顺序调一下,问题就显形了:A 加载得慢,用户已经进入 B,B 的消息先显示,随后 A 的响应返回,同一个组件里的 setMessages 又执行一次。标题还写着 B,下面却是 A 的消息。TypeScript 通常会让这段代码顺利通过,两份响应里装的都是同一种消息数组。

工程师可以在这个组件里增加清理逻辑,忽略过期响应。等搜索页、置顶会话和侧栏预览各写一次,团队就有了四份需要独立维护的竞态处理。另一种做法是让框架按会话 ID 保存消息,组件只订阅当前 ID:

1
2
3
4
function Conversation({ chatId }: { chatId: ChatId }) {
const messages = useChatMessages(chatId);
return <MessageList messages={messages} />;
}

这个接口把审查范围缩小了。A 的请求完成时,只能更新键 A 对应的数据。界面已经订阅 B,A 晚到多久都不会覆盖 B。框架还可以在同一处处理组件卸载、重复请求和订阅清理。产品工程师写下这两行,就能继承这些行为。以后替换缓存实现,回归测试也有一个明确的落点。

有了这样的入口,限制才容易执行。假如诊断只写“禁止使用 useEffect”,Agent 很可能转身去找另一个能安排异步回调的 API。一条更好的诊断可以直接写:“会话消息由框架按 chatId 维护,请调用 useChatMessages(chatId)。其他外部订阅请在框架适配层实现。”修正办法出现在报错现场。新规则合入时,也值得顺手把最常被引用的旧组件迁过去,否则仓库里的示例和 CI 的报错会给出两个方向。

让失败按指定顺序发生

静态检查能抓到越界导入,却回答不了那个工单最具体的问题:用户已进入 B 时,如果 A 的旧请求恰好返回,屏幕上留下的是哪段消息?

给这类 PR 附一张标题为 B 的截图,几乎没有审查价值。截图可能拍在 A 返回之前。让测试随机等几百毫秒也很别扭,本地刚好撞上的顺序,换一台 CI 机器又可能错过。可以把两次请求都挂起,由测试驱动明确放行,并给两段会话准备绝不会混淆的文本:

1
2
3
4
5
6
7
8
9
10
11
12
13
// 示意。replyAndFlush 在客户端处理完该响应并提交界面更新后返回。
await app.openChat("A");
const a = await network.pendingMessages("A");

await app.openChat("B");
const b = await network.pendingMessages("B");

await b.replyAndFlush(["B 的验收记录"]);
await expect(app.messageList).toHaveText("B 的验收记录");

await a.replyAndFlush(["A 的采购清单"]);
await expect(app.chatTitle).toHaveText("B");
await expect(app.messageList).toHaveText("B 的验收记录");

这里最费心思的是 replyAndFlush 的语义。如果它只等测试服务器发完响应就返回,最后一个断言可能在客户端收到 A 之前就读到了 B,测试会假装通过。测试驱动需要一个能观察到的完成点,例如数据层报告该请求结算,再等待由此触发的界面更新提交。写完先在修复前的版本跑一次,确认最后一个断言稳定读到 A;再换到修复版本,保持同一顺序,确认它稳定读到 B。这样留给下一个维护者的,是一条可以重新制造故障的路径。

Tan 的团队给 Agent 准备了功能地图和一套可复用的命令行工具。用户说“左边栏那一项”,地图能把这句话对应到具体功能;Agent 可以通过工具操作正在运行的应用,读取界面状态、截图、录像。对上面的工单,录像适合让产品工程师看清切换时有没有闪回,断言适合让 CI 在半年后继续盯住晚到的 A。两份证据回答的是不同的问题。运行时验证工具

夜间代码审查、自动测试与合并门禁的概念示意图
AI 辅助代码审查与验证流程示意图,非真实客户端截图。

人睡着以后,谁决定可以合并

Tan 还讲到一个已经用起来的发布流程。团队切出新版本后,自动任务会启动 Agent,让它像用户一样操作新构建,探索各种交互组合。发现问题,它能提交修复 PR 并自动合并。她也谈到团队对形式化方法的尝试,例如用 TLA+ 检查多设备通知的状态变化,用 Lean 推理列表虚拟化算法的性质。涉及多个事件任意交错时,工程师可以先写下“无论先后顺序如何,都应该成立”的条件,再选择验证工具。发布流程与验证实验

回到聊天窗口,最值得保留的条件只有一句:页面展示的每条消息都属于当前选中的会话。 它既能指导前面的回归测试,也能给自动探索提供判断依据。测试程序可以连续打开 A、B、C,打乱响应的到达顺序,在每次可观察的界面更新后核对消息归属。将来用户又报告“偶尔串一下”,工程师先看哪一种事件顺序打破了这条条件,再决定改缓存、订阅还是绘制逻辑。

人的判断仍然有一个很具体的位置。切到 B、消息还没回来时,界面应该保留旧内容、显示空白,还是显示 B 上次打开时的缓存?这三种行为都能被测试得很严密,选哪一种取决于产品想交付什么。评审者把这个决定写成验收场景,工具就能在接下来的每一次提交里替他重复检查。若自动合并已经开启,合并队列还应对即将进入主分支的组合运行这些检查,免得两个分别通过的改动合在一起,又把旧行为带回来。

下次在 PR 里准备写“这里有竞态”时,可以先留意一下,这是团队第一次发现它,还是第三次解释它。如果已经解释过两次,这次 PR 就值得多交付一样东西:一个让旧实现必然失败的测试,或者一个让业务代码自然按会话取数的接口。到了凌晨两点,下一位 Agent 改动聊天窗口,晚到的那条 A 消息还会照常回来。只要它再次出现在 B 的窗口里,合并就会停下来。

分享到