循环工程的冷思考
热潮之下的三节思辨:验证器才是瓶颈、人退到外环、单循环的结构性失败与 loop 之网。
开篇:热潮需要冷思考
循环工程火了,但三位作者各自泼了一盆冷水——泼的不是同一个地方:
- @samueljmcd:生成器从来不是瓶颈,瓶颈永远是验证器;
- @addyosmani:Agent 跑内循环,人要退到外环做问责;
- @IntuitMachine:单个 loop 有四种结构性失败,答案是 loop 之网,但持久的轴线是 grounded vs ungrounded。
大家都在讨论怎么把发动机(生成器)造得更快,这三位却在问:刹车(验证器)够不够灵?司机(人)坐在哪?路(单循环结构)本身会不会塌?
① 验证器才是瓶颈(@samueljmcd)
三段论
2024 年是写好提示词 → 2025 年是并行跑 Agent → 2026 年是构建替你跑 Agent 的循环。Boris Cherny(Claude Code 负责人)6 月对 Fortune 说"不再亲自写提示词,另一个 Claude 替他做提示",管理着数百甚至数千个 Agent。
循环 = 与验证器相连的生成器,标准形态是 discover → plan → execute → verify,不断重复直到满足条件。
开放式 vs 封闭式循环
- 开放式循环:探索空间大、可能找到未指定的路径,但烧 token 快、标准松时会变成混乱机器;
- 封闭式循环:目标清晰、步骤预定、每步有评估、有停止条件,路径有界所以预算正常。
当下真正产出结果的是封闭式循环,功劳不在"自主性",而在评估门(evaluation gate)。几乎没人讲清楚 verify 那个盒子,但"那个盒子才是产品,其余都是管道"。
学术源头:ReAct 与 Reflexion
ReAct(Princeton+Google,Yao et al.):思考-行动-观察循环;Reflexion(ReAct+记忆):失败后用自然语言写下原因、存下来、下次读。现代 harness 里那条笔记存在文件而非上下文窗口里——这是持久记忆的种子。
内循环(单任务内自我验证:改文件→写测试→跑→修→确认绿了再说 done)已成熟;外循环(跨 session 把教训记进持久文件,SKILL.md / AGENTS.md 是天然载体)还只建了一半。
旗舰案例:Bun 移植与 Anthropic 自己的 caveat
Jarred Sumner(Bun 作者)用 Claude Code 的 dynamic workflows 把 Bun 从 Zig 移植到 Rust:约 75 万行 Rust,99.8% 现有测试通过。Anthropic 说 11 天,Sumner 本人说 6 天。架构本身就是验证层:一轮定 Rust 生命周期、二轮数百 Agent 并行移植、每文件 2 个 reviewer Agent、另有一层 Agent 专门反驳、fix loop 跑到构建和测试全绿。
但 Anthropic 自己写了 caveat:该移植尚未进生产——"跑绿的循环不等于正确的循环,它只满足了你给它的验证器。" benchmark 结果和生产行为之间,差的正是验证器的质量。
落地清单与警告
定时触发器、隔离的 git worktree、Skills 文件、连接器、生成者与验证者角色分离(自己给自己打分会手软)、持久记忆文件。原生工具已有 /goal(v2.1.139,持有完成条件跨 turn 工作)和 dynamic workflows(v2.1.154+ research preview,最多 16 并发、单次 1000 个 Agent)。
② 人退到外环(@addyosmani)
Agent 跑内循环,人在约束 / 抽样 / 审计 / 所有权四个外环上负责问责(accountability)——这是规模化 Agent 工程的 operating model。
三个核心术语
- 质量 quality:放行前的一切检查,检查产生证据;
- 裁决 verdict:工作进入被依赖系统前的最终决定——发布 / 阻止 / 重定向 / 缩小范围 / 加防护 / 拒绝;
- 可解释性 answerability:被问到时能说清原因的保证。
Agent 定义 = 模型 + 文件、工具、记忆、技能、沙箱、权限、可观测性、恢复机制。模型只是引擎,外壳(工具/记忆/权限/沙箱/测试)才是让它安全干活的"车"。
内外分工与"谨慎的界限"
循环定义为 investigate → implement → verify → repeat;工厂(software factory)= 规模化的循环:Agent 在内部干活,人类在边界处做决策。系统内外之间有一条"谨慎的界限":证据穿过界限,由拥有被依赖系统的人看证据做决定。
系统内部只有"能力"(调查/实施/测试/汇报),系统外部只有"能动性"(决定/核实/批准/拥有)。人不必在内循环里,但必须处在四个外环上。
反向压力 back pressure
不想给 Agent 尽可能多的自主权,只给刚好够的;让 Agent 发出与常规工程相同的信号(类型检查、测试、钩子、沙箱限制、审计日志、监控),常规工程手段就能提供足够的反压。
三个隐藏成本(有实证数据)
- 认知投降 cognitive surrender:Wharton 研究,AI 出错时近四分之三的人照单全收,而且更自信;
- 认知债 cognitive debt:Anthropic RCT,靠 AI 写代码的工程师理解力测试低 17 个百分点(50% vs 67%);
- 编排税 orchestration tax:人的认知带宽无法像 Agent 那样并行。
数据点:Sonar 2026 年调查,42% 提交代码由 AI 生成或高度辅助;GitLab 2026 年 6 月 AI 问责研究:审查与验证是当前瓶颈,治理常发生在代码创建之后。
alpha 是竞争中的领先身位,decay 是人人学会的套路,taste 是最早感知到 alpha 转移的判断力。"当人人能造任何东西时,选造什么更重要"(Paul Graham)。把 taste 操作化:命名它、用实例练习、说清理由。"half-life of an edge is one release, half-life of a signature is a career."
flag 问题 → 调查 → 执行 → 诊断 → 提方案 → 推荐修复 → 解决;最高一阶是 discernment:发现了但不值得修,直接走人。
落地建议:把所有质量保证放进循环内部;设计并验证好循环后,用反压机制控制其运行速率与范围;brownfield(遗留系统)是工厂规模化的前线,行为藏在"伤疤"里,要把隐性知识变成显式约束。
③ 单循环的结构性失败与 loop 之网(@IntuitMachine)
这篇长篇思辨 essay 从 Peter Steinberger 的玩笑出发("Are we still talking loops or did we shift to graphs yet?"),是三篇里思辨性最强、工程细节最少的一篇。
Loop 的四冲程骨架
选控制对象 → 设参照(目标)→ 量差距 → 行动缩小差距 → 循环。恒温器、PDCA、OKR、sprint 复盘、A/B 测试、ML 训练循环都是同一骨架。
单个 loop 的四种结构性失败
- Goodhart's law:指标被优化到脱离本意。客服案例:解决率上升,但续费流失翻倍;
- blindness upward:loop 无法质疑参照本身是否正确;
- conflict:独立建造的多个 loop 互相打架(一间加热、一间制冷的 HVAC);
- measurement decay:没人看"看守者"——传感器漂移、数据管道腐烂、数字只在报表间互证,"theater with good attendance"(满座的空剧场)。
Graph 的答案是拓扑性的
- Goodhart → 每个优化 loop 配一个看守 loop(counter-metric 配对);
- blindness upward → 层级制,更慢的 loop 拥有更快 loop 的参照;
- conflict → 显式仲裁 loop;
- measurement decay → 审计 loop。
MLOps 实例:champion-challenger loop + drift-monitor loop + 自动回滚 + held-out 评估集(训练 loop 永远不可见的"故意致盲" loop)。
更深的真相:anchors
graph 需要 edges 无法提供的东西——anchors(锚点):有些测量必须无可辩驳(到账的收入、真实跑过的测试、真实留存的客户);有些规则必须冻结(held-out 集、优化器想削弱的规则);"更好"的根定义必须来自 graph 之外的人。
锚点像船锚:船(graph)再大、缆绳(edges)再多,没有抛进海底的锚,风一来整船照样漂走。无可辩驳的测量和冻结的规则,就是抛进现实海底的锚。
反例:全由报表互证的循环 graph——审计 loop 查运营数对财务数,而财务数来自同一套系统;一切一致、什么都没被验证,失败得更晚、更贵、绿灯更多。
趋势预测:loop architecture 会成为正统(paired metrics+audit cycles 如同 version control 一样标配);graph of loops 也会以自己的方式失败——circularly、consistently、plausibly——凡无 anchors 之处。
收尾:三者的共识
三篇角度不同,但拼在一起恰好形成完整闭环:
- 验证 / 评估门是真正的产品(61+62):61 说"那个盒子才是产品,其余都是管道";62 把质量(放行前的一切检查)列为第一术语;
- 锚点与证据必须穿过界限(13+62):13 的 anchors(无可辩驳的测量+冻结规则),62 的"证据穿过谨慎的界限,由拥有被依赖系统的人做决定"——说的是同一件事;
- 人在外环负责问责(62):人不必在内循环里,但必须在约束/抽样/审计/所有权四环上;
- graph 也会失败(13):凡无 anchors 之处,loop 之网也会 circularly、consistently、plausibly 地失败。
术语翻卡:点卡片看解释
自测一下:点问题展开参考答案
因为当下真正产出结果的是封闭式循环,功劳不在"自主性"而在评估门;几乎没人讲清楚 verify 那个盒子,但"那个盒子才是产品,其余都是管道"。
该移植尚未进生产——"跑绿的循环不等于正确的循环,它只满足了你给它的验证器"。benchmark 结果和生产行为之间,差的正是验证器的质量。
Goodhart(指标脱离本意)、blindness upward(无法质疑参照本身)、conflict(多个 loop 互相打架)、measurement decay(没人看守看守者,数字只在报表间互证)。
认知投降(Wharton:AI 错时近 3/4 照单全收)、认知债(Anthropic RCT:理解力低 17 个百分点,50% vs 67%)、编排税(人的认知带宽无法像 Agent 并行)。
持久的轴线不是 loops vs graphs,而是 ungrounded vs grounded——是否锚定现实。