Fable 5：自我修正循环与记忆实测
@RLanceMartin（Anthropic 员工）：两个技巧——self-correction loops 与跨会话 memory，附 Parameter Golf 与 Continual Learning Bench 实测。
开篇：与其直接提示，不如设计循环
这是全系列最硬核的实测之一。Anthropic 员工 @RLanceMartin 分享了用 Claude Fable 5 设计循环的两个技巧，全部附实测数据：
- 技巧一 self-correction loops（自我修正循环）：让模型在 evaluation 上 hillclimb（爬山优化），是提升任务表现的通用配方；
- 技巧二 memory（跨会话记忆）：会话之间持久的外循环，让模型在线持续改进。
涉及的模型：Claude Fable 5、Opus 4.7、Sonnet 4.6。官方原语：Claude Code 的 /goal 和 Claude Managed Agents（CMA）的 Outcomes。
技巧一：self-correction loops 自我修正循环
核心配方：让模型在 evaluation 上 hillclimb——跑一轮、看分数、改进、再跑，是提升任务表现的通用方法。
实测场景：Parameter Golf
OpenAI 开源的 ML 工程挑战，约束非常具体：
- 16MB artifact 大小上限；
- 10 分钟训练时间；
- 8xH100 算力；
- agent 要改 train_gpt.py、启动训练、读日志、看分数、决定下一个实验。
实验设置：CMA ＋ 自托管沙箱 ＋ 8xH100，最长跑 8 小时，rubric 含 9 条可检查标准。
结果：Fable 5 约 6 倍于 Opus 4.7
Fable 5 对训练 pipeline 的改进约 6 倍于 Opus 4.7。行为差异很说明问题：
- Fable 5 敢做结构性改动（架构变更），并且能扛过 quantization regression（量化回归），拿到最大收益；
- Opus 4.7 首个实验小胜之后，几乎全是调标量参数的同一模板——在同一个小圈子里打转。
两个关键细节
让模型自己批评自己的输出，效果不好——自己给自己判卷，分数天然虚高。
verifier sub-agent 在独立上下文窗口打分，效果更好。CMA 的 Outcomes 会自动 spawn（派生）一个 grader sub-agent 做这件事。
这和"做事的人不检查自己的活"是同一个道理：checker 必须用全新上下文。
自我修正循环就像学生＋独立阅卷老师：学生（worker）做题，阅卷老师（verifier）在另一个房间、看不到学生的草稿纸，只按标准答案打分。让学生自己批自己的卷子，分数永远虚高。
技巧二：跨会话 memory（记忆外循环）
机制：Claude 在会话中写记忆，未来会话可检索——这是会话之间的外循环（技巧一是会话内的内循环）。
实测基准：Continual Learning Bench 1.0
首个衡量 AI 在线持续改进的现实基准。测试任务：SQL 数据库连续问答——每题独立会话 ＋ 共享记忆。
三种模型的阶梯式退出行为
| 模型 | 表现 |
|---|---|
| Sonnet 4.6 | 在第 1 步左右退出：只记失败注记和未决猜测，很少查阅记忆 |
| Opus 4.7 | 在第 3 步左右退出：验证覆盖率 7%–33%，中位约 17% |
| Fable 5 | 走完全流程：最佳运行验证覆盖率 73%（30 项中 22 项），并把经验提炼成通用规则 |
这像三个学生的错题本习惯：Sonnet 4.6 只在页边随手记两笔，从不翻看；Opus 4.7 翻了几页就放弃了；Fable 5 把整本错题做完，还总结出"这类题的通用解法"写在扉页——下次直接翻扉页。
高效记忆五阶段
@RLanceMartin 提炼的高效记忆五阶段——这是别处少见的流程，点下面单步走：
犯错并记录：先允许犯错，把错记下来，而不是假装没错。
收尾：设计循环，而不是设计提示
把两个技巧放在一起看，结论只有一句话：
内循环（self-correction）解决"一次任务做到最好"；外循环（memory）解决"跨任务越做越好"。Fable 5 在两者上都显著强于 Opus 4.7 和 Sonnet 4.6——6 倍的 pipeline 改进、73% 对 17% 的验证覆盖率，数字都在这里。
术语翻卡：点卡片看解释
自测一下：点问题展开参考答案
约束：16MB artifact、10 分钟训练、8xH100，改 train_gpt.py 迭代；CMA＋自托管沙箱＋8xH100，最长 8 小时，rubric 9 条可检查标准。结果：Fable 5 对训练 pipeline 的改进约 6 倍于 Opus 4.7；Fable 敢做架构变更并扛过量化回归，Opus 首个实验小胜后一直在调标量参数。
模型 self-critique 自己的输出效果差，等于自己给自己判卷。verifier sub-agent 在独立上下文打分效果更好；CMA 的 Outcomes 会自动派生 grader sub-agent。
Sonnet 4.6 第 1 步左右退出，只记失败注记、很少查阅；Opus 4.7 第 3 步左右退出，验证覆盖率 7%–33%（中位约 17%）；Fable 5 走完全流程，最佳运行验证覆盖率 73%（30 项中 22 项），并提炼成通用规则。
失败（犯错并记录）→ 调查（弄清原因）→ 验证（诊断变已核实事实）→ 提炼（总结成通则）→ 查阅（读通则而非重新推导）。