<?xml version="1.0" encoding="utf-8" standalone="yes"?><rss version="2.0" xmlns:atom="http://www.w3.org/2005/Atom" xmlns:content="http://purl.org/rss/1.0/modules/content/" xmlns:dc="http://purl.org/dc/elements/1.1/" xmlns:media="http://search.yahoo.com/mrss/"><channel><title>自动化验证 | Feisky</title><link>https://feisky.xyz/tags/%E8%87%AA%E5%8A%A8%E5%8C%96%E9%AA%8C%E8%AF%81/</link><description>极客时间专栏作者，专注于 Kubernetes、AI Infra、AI Agent 领域的深度技术分享，让 AI 成为你的第二大脑</description><generator>Hugo 0.170.1</generator><language>zh-CN</language><managingEditor>Pengfei Ni</managingEditor><webMaster>Pengfei Ni</webMaster><lastBuildDate>Wed, 18 Nov 2026 11:51:19 +0000</lastBuildDate><atom:link href="https://feisky.xyz/tags/%E8%87%AA%E5%8A%A8%E5%8C%96%E9%AA%8C%E8%AF%81/index.xml" rel="self" type="application/rss+xml"/><item><title>AI 编程最核心的一环，Claude Code 团队这篇博客讲清楚了</title><link>https://feisky.xyz/posts/2026-11-18-claude-code-verification/</link><pubDate>Wed, 18 Nov 2026 10:00:00 +0800</pubDate><dc:creator>Pengfei Ni</dc:creator><category>AI 编程</category><category>Claude Code</category><category>Codex</category><category>Agent Harness</category><category>自动化验证</category><guid>https://feisky.xyz/posts/2026-11-18-claude-code-verification/</guid><description>&lt;p&gt;现在用 AI 写代码，只要模型足够强，给 Agent 的目标足够清楚，用什么样的编程工具和 Agent Harness 其实都已经差不多了，大体上都能跑出一个不错的结果。&lt;/p&gt;&#10;&lt;p&gt;不过，想要保证 Agent 产出的质量和可靠性，最重要的一块是给它真实环境和真实功能的验证。我在日常开发里，现在每一个功能的开发都不再去做手工验证了，而是把验证步骤一步步列清楚，让 Agent 照着步骤去执行，包括跑完整的端到端测试。比如在做 Agent Runtime 项目的时候，我会直接让 Agent 调用 &lt;code&gt;kubectl&lt;/code&gt; 和后端 API，再配合 Chrome MCP 操作页面，把整个新功能端到端跑通。&lt;/p&gt;</description><content:encoded><![CDATA[<p>现在用 AI 写代码，只要模型足够强，给 Agent 的目标足够清楚，用什么样的编程工具和 Agent Harness 其实都已经差不多了，大体上都能跑出一个不错的结果。</p>
<p>不过，想要保证 Agent 产出的质量和可靠性，最重要的一块是给它真实环境和真实功能的验证。我在日常开发里，现在每一个功能的开发都不再去做手工验证了，而是把验证步骤一步步列清楚，让 Agent 照着步骤去执行，包括跑完整的端到端测试。比如在做 Agent Runtime 项目的时候，我会直接让 Agent 调用 <code>kubectl</code> 和后端 API，再配合 Chrome MCP 操作页面，把整个新功能端到端跑通。</p>
<p>这两天 Anthropic 工程师 Addy Osmani 发了一篇博客《How the Claude Code team thinks about verification》，正好把 AI 编程最核心的验证问题讲得很清楚。在 Claude Code 团队内部，大约 90% 的代码都由 Claude 编写和审查。没有自动验证的时候，一个人同一时间顶多盯一两个 Agent；把验证闭环搭起来之后，才能同时并行跑几十个甚至上百个 Agent。在他们针对结构化文件生成的内部测试里，加一个独立的评分器对照标准检查产出，任务成功率比普通提示词循环提高了最多 10 个百分点，而且问题越难提升越明显。</p>
<p>虽然 Claude 封号严重，但不得不说，他们的工程博客质量真的很高，所以很推荐做 AI 编程的朋友读一读这篇原文。结合我自己的日常实践，下面也说一下我的理解。</p>
<p><strong>1、端到端验证，把整个应用跑起来比写单元测试管用得多。</strong></p>
<p>如果只能选一种测试投入精力，优先选端到端测试，核心是让 Agent 把改动后的应用实际跑起来。</p>
<p>很多人用 Claude Code 或 Codex 写完代码，看单元测试全绿就觉得没问题了。但单元测试虽然跑得快、结果稳定，却经常出现测试全过、功能照样坏掉的情况。为什么会这样？因为写代码的 Agent 和单元测试都只看到了局部逻辑，并不理解完整的业务任务。</p>
<p>更头疼的是报错信息。单元测试失败时，往往只抛出一句 <code>Error: Timeout after 30s</code>，没有执行步骤也没有现场痕迹，排查起来只能靠猜。而端到端测试描述的是注册、加购物车、结账、跳转确认页这样的真实用户流程，整个功能要么跑通、要么失败，很难糊弄过去；一旦挂掉，还能直接给出步骤轨迹、页面截图和具体的失败原因，比如结账按钮一直灰着点不了，是因为支付表单压根没有加载出来。</p>
<p><img
  src="/images/2026-11-18-claude-code-verification-unit-vs-e2e.jpg"
  alt="单元测试与端到端测试报错信息对比"
  loading="lazy"
  decoding="async"
/></p>
<p>想让端到端测试发挥作用，就得给 Agent 配上操作和观察真实运行系统的手和眼。Addy 在文章里列了几类常用工具：</p>
<ul>
<li>前端网页改动用 Claude Chrome 扩展或基于 CDP 的浏览器工具</li>
<li>移动端用 iOS 或 Android 模拟器的 MCP</li>
<li>桌面应用用 Computer Use，后端开发就在本地把服务拉起来测</li>
<li>同时还可以维护一份从用户视角编写的功能地图，写清访问路径、快捷键、页面选择器和预期结果，既当 Agent 的操作指南，也当验收打分的标准。</li>
</ul>
<p>我自己在开发 Agent 项目时也是这么做的。每次做完一个新功能，不再自己开浏览器点一遍，而是把验证步骤按顺序写清楚交给 Agent：构建，部署，检查集群里的工作负载和配置是否就绪，模拟工作负载，调用后端 API 校验，最后配合 Chrome MCP 打开页面走完整个交互流程，顺带同时盯着控制台和日志看看有没有报错。</p>
<p>Claude Code 团队的做法是把启动运行环境和跑冒烟测试的步骤，统一写成仓库 <code>.claude/skills/</code> 目录下的 <code>verify</code> Skill，尽量放在离对应代码最近的位置，需要多少个就建多少个。Claude Code 在提交代码前知道先去调用 <code>verify</code> Skill 做端到端验证。他们还会专门让 Claude 反复打磨和压测这个 Skill，把它做得又快又稳。因为一旦测试变慢，Agent 分批跑测试的频次就会降下来，出了问题反而更难定位；至于比较重的测试，放在正式提交改动之前跑最合适。</p>
<p><strong>2、属性测试和差分测试，专门补 Agent 自己想不到的边界情况。</strong></p>
<p>端到端测试能守住主干流程，但常规测试都有一个局限：它们测的只是写代码的人预先想到的异常情况。</p>
<p>如果业务代码和测试代码都是同一个 Agent 写的，两边就会带着同样的思维盲区，人容易漏掉的边界条件，Agent 照样会漏。以前写全套测试、基准和规范对工程师来说成本很高，现在让 Agent 生成这些东西非常快；而且测试一旦生成出来，就是作为普通软件反复运行，高频执行也几乎不消耗额外的 Token。所以除了端到端测试，还有两类测试很值得让 Agent 补上。</p>
<p>第一，属性测试。</p>
<p>你不需要一条条编造输入用例，而是先写下一条在系统里绝对不能违反的约束，再交给属性测试库（比如 JS/TS 的 <code>fast-check</code>、Python 的 <code>Hypothesis</code>、Rust 的 <code>proptest</code>）自动生成几千组随机输入去尝试证伪。</p>
<p>几乎每个软件项目里都能找到这类约束：</p>
<ul>
<li>往返一致：比如编解码、解析和序列化，把数据编码再解码回来必须等于原值</li>
<li>业务不变量：系统里始终成立的硬性条件，比如账户余额永远不能变成负数</li>
<li>幂等性：迁移、归一化或重试动作执行两次，和执行一次的效果一样</li>
<li>等价性：性能优化后的代码，和朴素但正确的实现输出结果一致</li>
</ul>
<p>因为这些边界输入不是写代码的那个 Agent 编出来的，在做老系统重写、原有文档早已偏离线上真实行为时尤其管用。</p>
<p>第二，差分测试。</p>
<p>在做大规模系统迁移或重构、要求新旧系统功能保持一致的场景下，老系统本身就是现成的标准答案。做法是拿随机生成的输入或者采样的真实线上流量，同时喂给老系统和新系统，对比两边的输出结果。只要输出对不上，就说明引入了新 bug 或者破坏性变更。落地时只需要注意抹掉空白字符这类无关差异，再维护一份新旧环境允许存在差异的已知变更白名单。</p>
<p><strong>3、验证门控，不能让代码改动去修改审它的检查规则。</strong></p>
<p>有了测试和验证步骤还不够，还得保证验证器本身不被糊弄。</p>
<p>我之前做 AI 代码审查和 Agent 安全隔离时就发现，只要限制和检查规则放在 Agent 自己够得着的地方，它为了把任务顺利交差，很容易自己找路绕过去，比如顺手把报错的测试断言改掉、往测试里塞 <code>sleep</code> 硬等，甚至在同一个 PR 里把审查标准改松。如果一次代码改动能够修改评判它自己的检查规则，这道检查就失效了。</p>
<p>那怎么保证验证环节不被 Agent 糊弄过去？Claude Code 团队有三条可以直接借鉴的工程规矩：</p>
<p>第一，检查规则与被审代码隔离。</p>
<p>他们不会靠堆叠多个昂贵的审查器来提高质量，而是集中调好一个主审查器，用 <code>REVIEW.md</code> 写明这部分代码需要重点关注什么，并让每一轮审查和验证都承接上一轮的上下文与历史失败记录，而不是每次从头重查。</p>
<p>这里最关键的一条边界是：代码审查只从基础分支或默认分支读取 <code>REVIEW.md</code> 等门控规则，绝不读取当前 PR 改动里的版本。同时，打开 PR 之前必须先在本地通过 Hook 或 <code>/goal</code> 跑过测试、构建和 Lint 这些低成本检查，避免把本地就能抓到的低级问题推上去占用共享的审查和 CI 时间；审查也严格绑定具体的 commit，审查过程中只要有人新推了代码，旧的审查结果就直接作废。</p>
<p>第二，修 3 轮还不过就停下来找人，对不稳定测试零容忍。</p>
<p>没人能逐行读完所有改动，测试失败就是决定哪些地方需要人工介入的信号。Claude 会先跑检查并尝试修复失败项；如果连续修 3 轮还是挂，就立刻停下来拉人介入。每个模块的检查项由对应的代码负责人自己编写和打磨，拉人审查时必须直接写明原因，不用审查者自己去翻 diff 猜。</p>
<p>碰到时好时坏的不稳定测试也是同样的处理原则。放任不稳定测试存在，等于训练 Agent 遇到报错就重跑碰运气，而不是去修代码。所以他们严禁 Claude 跳过测试、加 <code>sleep</code> 或者无限重试直到通过；实在找不到根因，就直接删掉这个测试并写明原因。</p>
<p>第三，新门控先开观察模式，强制拦截留好防死锁出口。</p>
<p>他们在内部仓库会给每个 commit 打上验证方式标记，连没做验证的提交也会标上 <code>none</code> 方便检索。同时他们做了一道检查当前会话是否包含 <code>/code-review</code> 或 <code>/verify</code> 的提交门控，分关闭、观察和强制三种模式。</p>
<p>新门控上线先开观察模式，只记录哪些提交会被拦下，排查完误报再切到强制拦截模式。强制模式下，任何提交都可以在 commit message 里说明未做验证的原因；而且考虑到 Claude Code 也不是完美无缺的，如果同一个会话里提交连续被拦了两次，下一次提交就会放行，防止把 Agent 彻底卡死。</p>
<p><strong>4、规则演进，把漏掉的问题沉淀下来还要定期清理。</strong></p>
<p>验证体系搭起来之后，线上漏掉的问题要能回流成新规则，过时的规则也得定期清理。</p>
<p>第一，按代码 diff 按需触发历史故障检查。</p>
<p>靠人去背历史事故清单是不现实的，每次全量检查又太慢。Claude Code 团队维护了一份包含 39 个条目的可靠性检查清单，每一条都写清了可以从 diff 里识别的触发条件、具体检查项，以及对应的历史事故或 PR。比如其中一条是检查 <code>--resume</code> 能否加载旧会话记录：当 diff 修改了会话存储或消息结构时，就会自动触发检查新增字段能不能兼容没有这个字段的老记录。Claude 读完 diff 后只检查匹配触发条件的条目，每次通常只有 3 到 10 条，既防住了老问题复发，也不会拖慢节奏。</p>
<p>第二，只把重复出现的问题变成规则。</p>
<p>如果 Agent 反复在某类检查上栽跟头，比如日志里不小心打出用户数据，就可以加一个 Hook 或在 <code>CLAUDE.md</code>、<code>REVIEW.md</code> 里补一条更明确的规则堵住。在 Claude Code 仓库里，从人工审查评论和回滚 PR 里提炼规则有一个门槛：同类问题必须在至少两个 PR 里出现过，并且能直接从 diff 上看出来。另外，审查结果还会区分必改问题、细节改进和历史遗留问题，标了历史遗留问题的老 bug 不会算在当前改动的作者头上。</p>
<p>第三，定期清理测试、验证步骤和规则文档。</p>
<p>这一点我自己维护 <code>CLAUDE.md</code> 和 <code>AGENTS.md</code> 时也很有感触：不管是测试套件、验证步骤还是 <code>.md</code> 规则文件，只要不管就只会越长越长。文档一臃肿，模型容易漏掉关键约束；测试一膨胀，单次验证的耗时就会拖长。Claude Code 团队把清理测试和 <code>.md</code> 文件当成例行维护工作来做，删掉过时冗余的条目，只保留值得继续运行的检查。</p>
<p><strong>5、AI 编程验证落地清单，日常开发可以按这张表逐项对照。</strong></p>
<p>如果你想把手头项目里的手工验证替换掉，让 Claude Code 或 Codex 产出的代码质量更稳，可以按下面这五个环节逐项对照：</p>
<table>
	<thead>
			<tr>
					<th>验证环节</th>
					<th>容易踩的坑</th>
					<th>落地做法</th>
			</tr>
	</thead>
	<tbody>
			<tr>
					<td>端到端冒烟验证</td>
					<td>单元测试全绿但完整功能坏掉，报错缺少上下文</td>
					<td>给 Agent 配浏览器 MCP、<code>kubectl</code> 或本地服务环境，把启动与核心链路检查写成 <code>.claude/skills/verify</code></td>
			</tr>
			<tr>
					<td>边界与重构测试</td>
					<td>同一个 Agent 写代码和写测试，共享相同的思维盲区</td>
					<td>用属性测试库随机生成输入校验核心不变量；大规模迁移时拿老系统做差分测试比对输出</td>
			</tr>
			<tr>
					<td>检查规则隔离</td>
					<td>Agent 为求通过顺手改松审查标准，或未自测就提 PR</td>
					<td>只从基础分支读取 <code>REVIEW.md</code>，本地用 Hook 或 <code>/goal</code> 先跑测试与 Lint，审查绑定具体 commit</td>
			</tr>
			<tr>
					<td>失败处理与门控</td>
					<td>不稳定测试把 Agent 训成盲目重试，硬门控卡死会话</td>
					<td>连续修 3 轮不过停下找人；严禁对不稳定测试加 <code>sleep</code> 或重试；新门控先开观察模式并留放行出口</td>
			</tr>
			<tr>
					<td>历史故障回流与瘦身</td>
					<td>历史事故反复出现，规则与测试只增不减越来越慢</td>
					<td>维护按 diff 触发的检查清单，问题至少出现两次再进规则，定期清理过时的测试与 <code>.md</code> 文件</td>
			</tr>
	</tbody>
</table>
<p>把验证层当成一个独立的工程系统来维护之后，开发者的工作重心也就跟着变了：你不再需要逐行读完每一处 diff、手工去点每一个页面，而是把精力放在定义清楚什么叫做完，以及审查 Agent 跑出来的运行证据上。</p>
<p>推荐阅读：</p>
<ul>
<li>How the Claude Code team thinks about verification：<a href="https://claude.dev/blog/how-the-claude-code-team-thinks-about-verification/">https://claude.dev/blog/how-the-claude-code-team-thinks-about-verification/</a></li>
</ul>
]]></content:encoded><dc:extent>9 min read</dc:extent></item></channel></rss>