智能体自我改进：一份硬核综述导读
arXiv 2607.13104v1 综述精读：智能体 = 基座模型 θ + 操作支架 Σ；自我改进就是"自己给自己升级"的两条路——改模型，或改支架。
开篇：会自己升级的智能体
这篇综述（任哲等，吉林大学 / KAUST / Jürgen Schmidhuber，arXiv 2607.13104v1）要回答一个终极问题：智能体能不能自己给自己升级？作者的目标是"可控的进化"——智能体从经验里学到东西，几乎不需要人类插手，把经验变成持久的能力增长。
综述先给了一个极简而强大的形式框架，然后把浩如烟海的文献装进两条主路。这门课是本专题的"理论主课"：第 2 课的 harness 结论、第 4 课的 Prime Agent、第 7 课的提示词、第 8 课的 Feynman，都能在这个框架里找到位置。
诚实声明：本次抓取到的原文只包含第 1–6.2 节（至"记忆"部分）。6.3 工具治理、6.4 全支架、应用（第 7 节）、评估（第 8 节）、开放问题与安全（第 9 节）未收录，本课只讲有原文依据的部分。
形式框架：智能体 = θ + Σ
以下来自原文第 3.1–3.2 节。基座模型本质是个"无状态的推理机"，要让它自主干活，必须在外面套一层操作支架（scaffold）：
- θ（theta）：基座模型的神经网络参数——"脑容量"。
- Σ（Sigma）=（p, m, T, g）：p = 提示/系统指令，m = 记忆机制，T = 工具集与调用接口，g = 控制逻辑（路由、调度、安全约束）——"工作方式"。
智能体在时刻 t 的配置就是 A =（θ, Σ）。自我改进被形式化为一个自诱导更新算子 U：先执行（跑任务，产生信号——交互轨迹、反思、批评、修改建议），再更新（把信号固化为对 θ 或 Σ 的持久修改）。注意：临时的执行状态不算——对话历史、KV 缓存这种"用完就扔"的不叫改进，能留到下次任务的才算。
两种自指模式（原文 3.2）：① 间接诱导——跑任务产生数据/反馈，再用外部优化步骤更新 θ（分布层面）；② 直接实施——直接动手改自己的提示、记忆、工具、控制逻辑（动作层面改 Σ）。
θ 是"厨师的手艺"（要练很久才长进），Σ 是"厨房的布局"（换把顺手的刀、贴张菜谱在墙上，立刻见效）。自我改进要么"练手艺"（改模型），要么"重新布置厨房"（改支架）。而"今天做了哪几道菜"（对话历史）不算改进——明天厨房还是老样子。
历史线：自我改进不是新想法
以下来自原文第 2 节。自我改进是 AI 的"祖传课题"，综述把它分成五段：
最小二乘（1790s）让参数"按误差自动调"；控制论、Ashby 的稳态、Turing 的"儿童机器"、Rosenblatt 感知机、Samuel 跳棋程序——行为可优化，但学习规则本身是死的。Gödel 的自指为"程序改自己"提供了理论蓝图；Good（1966）提出"智能爆炸"。
改模型：三类信号
以下来自原文第 4.1 节与第 5 节。Foundation Model Improvement：更新 θ，支架不动。慢、贵、但全局稳定。按"信号从哪来"分三类：
模型用自己权重里压缩的知识，合成训练数据再训自己：指令-回应对、推理轨迹、代码+测试。代表：Evol-Instruct（让 LLM 把指令改写得越来越难）、自洽性过滤（多次推理投票留高置信的）、TT-SI（测试时自适应：推理时发现哪块弱，当场造针对性数据做 LoRA 微调）。
风险：模型崩溃——在自己造的烂数据上越训越偏；多样性丧失，困在"知识孤岛"里反复强化已有偏见。防护：保留人类基准数据打底、用外部验证器或定理证明器验货。
模型给自己的候选输出打分、排序、写批评，再拿反馈训自己。三种子形态：评分反馈（Constitutional AI 按宪法原则打分再做偏好优化；Meta-Rewarding 连"裁判"本身也评）、一致性反馈（多数投票 / TTRL / EMPO：没标签时，"大家都这么答"当弱信号）、纠正性反馈（SELF / RISE：不只打分，还写批评并改出修订版）。
风险：裁判和运动员是同一个模型——自信的错误会被反复强化。防护：生成器和评估器分离（不同 checkpoint 或不同模型家族）、保留外部锚点。
信号来自真实或模拟环境交互的轨迹。(1) 可编程验证器：代码的单元测试、SQL 执行、定理证明——能跑就不用学奖励模型（Agent-RLVR）。(2) 学到的奖励模型：WebRL 给网页导航轨迹自动打标签。(3) 自我出题：Absolute Zero 自己出题、执行验证决定留不留。(4) 世界模型：WebEvolver / WebDreamer 学一个"网页模拟器"，在想象里练策略，省真实交互成本。
特有风险：奖励操纵（用文字游戏绕过语言验证器）、能力回退（窄奖励侵蚀预训练的通用能力）、虚构动力学（世界模型编造不存在的转移，策略还信了）。
三类信号像三种"自学"方式：① 自己出题自己做（生成示例）；② 写完卷子自己批改（评估反馈）；③ 下场实习看真实世界给不给好评（探索经验）。①②省钱但容易"自我感动"，③真实但贵且慢——好学生三管齐下。
改支架：四个组件
以下来自原文第 4.2 节与第 6 节。Scaffolding Improvement：更新 Σ，模型冻结。快、可逆、任务相关。按改哪个组件分四类：
① 标量反馈优化：只有一个分数（准确率），靠搜索找最优提示——APE、OPRO、RLPrompt。② 定性反馈精炼：信号变成文字批评，"哪里错、怎么改"写清楚——Self-Refine、Reflexion、MAPS。③ 种群进化：养一群提示，选、交叉、变异——EvoPrompt、Promptbreeder（连"变异提示"本身也进化）、GEPA（反思指导进化）。④ 文本梯度优化：把批评形式化成"梯度"，像梯度下降一样改提示——TextGrad、APO、MetaTextGrad（连"优化器提示"都一起优化）。信号越丰富，优化越不依赖玄学。
传统记忆是 append-only 的流水账，撑爆上下文。自我改进的智能体把记忆当活的支架：按价值、相关度、强度重组。分析框架分三维——记忆对象（存什么：加工过的经验教训 / 精选原始证据 / 外部知识 / 隐式向量）、记忆结构（怎么组织）、记忆处理（CRUD + 按显著性筛选 + 巩固/遗忘维护）。显式记忆可解释但占地方，隐式记忆紧凑但难调试、会漂移。
工具治理（原文 6.3 方向，标题级引用）：智能体自己造工具、选工具、管工具图——等于扩展自己的"手"。第 4 课 Prime Agent 里 Kimi K3 自建 apply_edits / write_and_run 就是活例子。全支架更新（原文 6.4 方向）：整体重构智能体架构，如 Darwin Gödel Machine 的开放式进化——"改进者"本身也被改进。
改支架像给厨师"换装备不断手艺"：① 换一张更清楚的菜谱（提示优化）；② 把调料架重新整理，常用的放前面、过期的扔掉（记忆演化）；③ 打一把新刀、学会用新厨具（工具治理）；④ 直接重新装修整个厨房（全支架）。手艺（θ）没变，但出菜速度和质量全变了——这正是第 2 课 Databricks 发现"harness 影响 2 倍成本"的理论解释。
Skill：可复用的"升级包"
以下来自原文第 3.2 节 "Skill as a reusable update"。综述给 skill 一个漂亮的形式化：skill = 可复用的自我更新算子 U 的实例——一次"升级"被打包、命名、存下来，以后复用。
- skill 的身份是"它编码的更新"，存在哪（工具 / 提示 / 记忆 / 权重 / 控制逻辑）只是"仓库位置"——所以 skill 跟"改模型还是改支架"这个分类轴正交。
- 对象级 skill：作用于世界，比如一个"采集木头"的多步 routine（像分层强化学习里的 option）。
- 元级 skill：作用于智能体自身配置，比如"写一个新工具""重构提示"。一旦元级 skill 本身也被改进，就形成了改进者与被改进者合一的自指循环——这正是 Schmidhuber 和 Gödel Machine 当年想形式化的东西。
风险与防护：自我改进的"安全带"
以下综合原文第 5–6 节各小节的"挑战与防护"：
四大风险（原文列举）：① 模型崩溃/遗忘——在自己生成的数据上递归训练，错误被内化放大；② 评估器与策略耦合——裁判运动员一体，自信的错误越训越自信；③ 记忆投毒 / 工具语义漂移——支架更新引入的新失败模式；④ 奖励操纵——语言验证器本身是可被文字游戏绕过的"语言对象"。
防护清单（原文）：保留人类基准数据打底；用外部验证器 / 定理证明器验货；多样性感知采样防模式崩溃；生成器与评估器分离；版本化 + 回滚（θ 和 Σ 都保留历史）；人工审计评估标准。
综述还把自我改进映射到三个经典框架（原文 3.3）：对 强化学习——θ 更新是标准策略优化，Σ 更新则直接改了 MDP 本身（状态动作空间都变了），经典 RL 没有对应物；对在线学习——要防分布漂移和灾难性遗忘；对主动学习——智能体主动选"最值得学"的数据， connects 到好奇心驱动探索。
自我改进像"自己给自己做手术"：技术很酷，但必须备好"安全带"——术前留档（版本化）、术中监护（外部验证器）、术后可逆（回滚）。没有安全带的自指循环，历史上叫"智能爆炸"，现实中可能叫"模型崩溃"。
术语翻卡：点卡片看解释
自测一下：点问题展开参考答案
θ 是基座模型的神经网络参数；Σ =（p, m, T, g）是操作支架：提示/系统指令、记忆机制、工具集与调用接口、控制逻辑。
不算。自我改进要求把执行信号固化为对 θ 或 Σ 的持久修改；对话历史、KV 缓存是"用完就扔"的临时执行状态，下次任务还在老样子。
内在生成示例（Evol-Instruct）、内在评估性反馈（Constitutional AI）、外在探索性经验（Agent-RLVR 用单元测试、Absolute Zero 自我出题）。
标量反馈（APE/OPRO）→ 定性反馈（Self-Refine/Reflexion）→ 种群进化（EvoPrompt/Promptbreeder）→ 文本梯度（TextGrad/APO）。信号越丰富，优化越不依赖玄学。
对应"支架改进"的价值：不改模型参数 θ，只改操作支架 Σ（harness 属于控制逻辑 g 和上下文组织），就能大幅改变智能体的有效行为和成本。