← 返回学习中心 · 认知与行业观察OiOi Academy
AGENT 理论 · 07

循环工程的冷思考

热潮之下的三节思辨:验证器才是瓶颈、人退到外环、单循环的结构性失败与 loop 之网。

原作者 @samueljmcd / @addyosmani / @IntuitMachine 来源 X 发布 2026-06/07
🧊

开篇:热潮需要冷思考

循环工程火了,但三位作者各自泼了一盆冷水——泼的不是同一个地方:

  • @samueljmcd:生成器从来不是瓶颈,瓶颈永远是验证器;
  • @addyosmani:Agent 跑内循环,人要退到外环做问责;
  • @IntuitMachine:单个 loop 有四种结构性失败,答案是 loop 之网,但持久的轴线是 grounded vs ungrounded。
高中生类比
大家都在讨论怎么把发动机(生成器)造得更快,这三位却在问:刹车(验证器)够不够灵?司机(人)坐在哪?路(单循环结构)本身会不会塌?
记住:本课三节,每节一篇原文,最后收束三者的共识。观点冲突处如实并列,不自行裁决。
🔍

① 验证器才是瓶颈(@samueljmcd)

三段论

2024 年是写好提示词 → 2025 年是并行跑 Agent → 2026 年是构建替你跑 Agent 的循环。Boris Cherny(Claude Code 负责人)6 月对 Fortune 说"不再亲自写提示词,另一个 Claude 替他做提示",管理着数百甚至数千个 Agent。

循环 = 与验证器相连的生成器,标准形态是 discover → plan → execute → verify,不断重复直到满足条件。

开放式 vs 封闭式循环

  • 开放式循环:探索空间大、可能找到未指定的路径,但烧 token 快、标准松时会变成混乱机器;
  • 封闭式循环:目标清晰、步骤预定、每步有评估、有停止条件,路径有界所以预算正常。

当下真正产出结果的是封闭式循环,功劳不在"自主性",而在评估门(evaluation gate)。几乎没人讲清楚 verify 那个盒子,但"那个盒子才是产品,其余都是管道"。

原文配图:循环示意
原文配图:循环示意
原文配图:开放/封闭循环对比
原文配图:开放/封闭循环对比

学术源头:ReAct 与 Reflexion

ReAct(Princeton+Google,Yao et al.):思考-行动-观察循环;Reflexion(ReAct+记忆):失败后用自然语言写下原因、存下来、下次读。现代 harness 里那条笔记存在文件而非上下文窗口里——这是持久记忆的种子。

内循环(单任务内自我验证:改文件→写测试→跑→修→确认绿了再说 done)已成熟;外循环(跨 session 把教训记进持久文件,SKILL.md / AGENTS.md 是天然载体)还只建了一半。

旗舰案例:Bun 移植与 Anthropic 自己的 caveat

Jarred Sumner(Bun 作者)用 Claude Code 的 dynamic workflows 把 Bun 从 Zig 移植到 Rust:约 75 万行 Rust,99.8% 现有测试通过。Anthropic 说 11 天,Sumner 本人说 6 天。架构本身就是验证层:一轮定 Rust 生命周期、二轮数百 Agent 并行移植、每文件 2 个 reviewer Agent、另有一层 Agent 专门反驳、fix loop 跑到构建和测试全绿。

避坑
但 Anthropic 自己写了 caveat:该移植尚未进生产——"跑绿的循环不等于正确的循环,它只满足了你给它的验证器。" benchmark 结果和生产行为之间,差的正是验证器的质量。

落地清单与警告

定时触发器、隔离的 git worktree、Skills 文件、连接器、生成者与验证者角色分离(自己给自己打分会手软)、持久记忆文件。原生工具已有 /goal(v2.1.139,持有完成条件跨 turn 工作)和 dynamic workflows(v2.1.154+ research preview,最多 16 并发、单次 1000 个 Agent)。

记住:先给门装仪表,再放大循环,否则只是在更快地批量生产错误答案。任务不适合多轮时别硬套 workflow,token 成本远高于普通 session。
🧑‍⚖️

② 人退到外环(@addyosmani)

Agent 跑内循环,人在约束 / 抽样 / 审计 / 所有权四个外环上负责问责(accountability)——这是规模化 Agent 工程的 operating model。

三个核心术语

  • 质量 quality:放行前的一切检查,检查产生证据;
  • 裁决 verdict:工作进入被依赖系统前的最终决定——发布 / 阻止 / 重定向 / 缩小范围 / 加防护 / 拒绝;
  • 可解释性 answerability:被问到时能说清原因的保证。

Agent 定义 = 模型 + 文件、工具、记忆、技能、沙箱、权限、可观测性、恢复机制。模型只是引擎,外壳(工具/记忆/权限/沙箱/测试)才是让它安全干活的"车"。

原文配图:内外环示意图
原文配图:内外环示意图

内外分工与"谨慎的界限"

循环定义为 investigate → implement → verify → repeat;工厂(software factory)= 规模化的循环:Agent 在内部干活,人类在边界处做决策。系统内外之间有一条"谨慎的界限":证据穿过界限,由拥有被依赖系统的人看证据做决定。

系统内部只有"能力"(调查/实施/测试/汇报),系统外部只有"能动性"(决定/核实/批准/拥有)。人不必在内循环里,但必须处在四个外环上。

反向压力 back pressure

不想给 Agent 尽可能多的自主权,只给刚好够的;让 Agent 发出与常规工程相同的信号(类型检查、测试、钩子、沙箱限制、审计日志、监控),常规工程手段就能提供足够的反压。

三个隐藏成本(有实证数据)

  • 认知投降 cognitive surrender:Wharton 研究,AI 出错时近四分之三的人照单全收,而且更自信;
  • 认知债 cognitive debt:Anthropic RCT,靠 AI 写代码的工程师理解力测试低 17 个百分点(50% vs 67%);
  • 编排税 orchestration tax:人的认知带宽无法像 Agent 那样并行。

数据点:Sonar 2026 年调查,42% 提交代码由 AI 生成或高度辅助;GitLab 2026 年 6 月 AI 问责研究:审查与验证是当前瓶颈,治理常发生在代码创建之后。

原文配图:隐藏成本数据
原文配图:隐藏成本数据

alpha 是竞争中的领先身位,decay 是人人学会的套路,taste 是最早感知到 alpha 转移的判断力。"当人人能造任何东西时,选造什么更重要"(Paul Graham)。把 taste 操作化:命名它、用实例练习、说清理由。"half-life of an edge is one release, half-life of a signature is a career."

flag 问题 → 调查 → 执行 → 诊断 → 提方案 → 推荐修复 → 解决;最高一阶是 discernment:发现了但不值得修,直接走人。

落地建议:把所有质量保证放进循环内部;设计并验证好循环后,用反压机制控制其运行速率与范围;brownfield(遗留系统)是工厂规模化的前线,行为藏在"伤疤"里,要把隐性知识变成显式约束。

🕸️

③ 单循环的结构性失败与 loop 之网(@IntuitMachine)

这篇长篇思辨 essay 从 Peter Steinberger 的玩笑出发("Are we still talking loops or did we shift to graphs yet?"),是三篇里思辨性最强、工程细节最少的一篇。

Loop 的四冲程骨架

选控制对象 → 设参照(目标)→ 量差距 → 行动缩小差距 → 循环。恒温器、PDCA、OKR、sprint 复盘、A/B 测试、ML 训练循环都是同一骨架。

单个 loop 的四种结构性失败

  • Goodhart's law:指标被优化到脱离本意。客服案例:解决率上升,但续费流失翻倍;
  • blindness upward:loop 无法质疑参照本身是否正确;
  • conflict:独立建造的多个 loop 互相打架(一间加热、一间制冷的 HVAC);
  • measurement decay:没人看"看守者"——传感器漂移、数据管道腐烂、数字只在报表间互证,"theater with good attendance"(满座的空剧场)。
原文配图:四种失败模式
原文配图:四种失败模式

Graph 的答案是拓扑性的

  • Goodhart → 每个优化 loop 配一个看守 loop(counter-metric 配对);
  • blindness upward → 层级制,更慢的 loop 拥有更快 loop 的参照;
  • conflict → 显式仲裁 loop;
  • measurement decay → 审计 loop。

MLOps 实例:champion-challenger loop + drift-monitor loop + 自动回滚 + held-out 评估集(训练 loop 永远不可见的"故意致盲" loop)。

更深的真相:anchors

graph 需要 edges 无法提供的东西——anchors(锚点):有些测量必须无可辩驳(到账的收入、真实跑过的测试、真实留存的客户);有些规则必须冻结(held-out 集、优化器想削弱的规则);"更好"的根定义必须来自 graph 之外的人。

高中生类比
锚点像船锚:船(graph)再大、缆绳(edges)再多,没有抛进海底的锚,风一来整船照样漂走。无可辩驳的测量和冻结的规则,就是抛进现实海底的锚。
避坑
反例:全由报表互证的循环 graph——审计 loop 查运营数对财务数,而财务数来自同一套系统;一切一致、什么都没被验证,失败得更晚、更贵、绿灯更多。

趋势预测:loop architecture 会成为正统(paired metrics+audit cycles 如同 version control 一样标配);graph of loops 也会以自己的方式失败——circularly、consistently、plausibly——凡无 anchors 之处。

记住:结论:持久的轴线不是 loops vs graphs,而是 ungrounded vs grounded(是否锚定现实)。
🤝

收尾:三者的共识

三篇角度不同,但拼在一起恰好形成完整闭环:

  1. 验证 / 评估门是真正的产品(61+62):61 说"那个盒子才是产品,其余都是管道";62 把质量(放行前的一切检查)列为第一术语;
  2. 锚点与证据必须穿过界限(13+62):13 的 anchors(无可辩驳的测量+冻结规则),62 的"证据穿过谨慎的界限,由拥有被依赖系统的人做决定"——说的是同一件事;
  3. 人在外环负责问责(62):人不必在内循环里,但必须在约束/抽样/审计/所有权四环上;
  4. graph 也会失败(13):凡无 anchors 之处,loop 之网也会 circularly、consistently、plausibly 地失败。
记住:一句话共识:把验证做实、把锚点钉牢、让人站在外环——循环才值得放大。否则只是在更快地批量生产错误答案。
词

术语翻卡:点卡片看解释

验证器
verifier
loop 的心脏:独立检查产出是否达标的部件。生成器从来不是瓶颈,瓶颈永远是验证器。
评估门
evaluation gate
决定产出能否放行的检查点;封闭式循环的功劳不在"自主性"而在评估门。
开放/封闭循环
open / closed loop
开放循环探索空间大但易成混乱机器;封闭循环目标清晰、每步有评估、有停止条件。
古德哈特定律
Goodhart's law
指标一旦成为目标,就会脱离本意:客服解决率上升,续费流失却翻倍。
锚点
anchors
无可辩驳的测量(到账的收入、真实跑过的测试)+必须冻结的规则;graph 的边给不了的东西。
认知债务
cognitive debt
靠 AI 写代码的工程师理解力测试低 17 个百分点(50% vs 67%,Anthropic RCT)。
认知投降
cognitive surrender
AI 出错时近四分之三的人照单全收且更自信(Wharton 研究)。
编排税
orchestration tax
人的认知带宽无法像 Agent 那样并行,规模化之后要交的税。
测

自测一下:点问题展开参考答案

因为当下真正产出结果的是封闭式循环,功劳不在"自主性"而在评估门;几乎没人讲清楚 verify 那个盒子,但"那个盒子才是产品,其余都是管道"。

该移植尚未进生产——"跑绿的循环不等于正确的循环,它只满足了你给它的验证器"。benchmark 结果和生产行为之间,差的正是验证器的质量。

Goodhart(指标脱离本意)、blindness upward(无法质疑参照本身)、conflict(多个 loop 互相打架)、measurement decay(没人看守看守者,数字只在报表间互证)。

认知投降(Wharton:AI 错时近 3/4 照单全收)、认知债(Anthropic RCT:理解力低 17 个百分点,50% vs 67%)、编排税(人的认知带宽无法像 Agent 并行)。

持久的轴线不是 loops vs graphs,而是 ungrounded vs grounded——是否锚定现实。