最近大模型领域对 RSI（Recursive self-improvement，递归式自我改进）的讨论比较多，但是那些做 RSI 的人似乎大多数都是在代理（Agent）层面的工作，如果要实现真正自主进化的智能其实应该涉及更多层次，包括改变神经网络架构，学习机制。大模型能帮人类构造 RSI 系统，但它们要成为 RSI 本身就需要具备描述和修改自身架构的能力。考虑到现在大模型的架构是大量人类经验手搓出来的，现有大模型的能力离完全的自我改进还有距离，也许 RSI 应该从协同进化算法程序开始。以下是我和 AI （Kimi K3）的对话，本来是英文，找了个简单模型翻译。
提示词：
请思考这些关于自我演进或递归式自我改进系统的问题。然后谈谈你对这些问题的看法。
对于全自动自我改进系统而言，是否存在一个“复杂性阈值”？简单的系统往往倾向于衰亡或达到一个不动点，而一些更复杂的系统可能具有开放性并实现自我改进。
模型架构和学习规则能否以自我改进的方式进化？目前，关于递归式自我改进系统的研究大多集中在基于大语言模型的代理上，而其核心部分是语言模型，这并非真正内建于系统之中。
什么样的环境适合自我改进系统？或者说，“物理规则”应当是怎样的？
递归式自我改进系统中的模型是否应当具备自我繁殖能力？

回复：
这四个问题实际上是同一个问题的不同侧面：环路在哪里闭合？一个自我改进系统是反馈环路的纠缠体——学习、自我修改、评估、繁殖——几乎所有有趣的现象都取决于哪些环路在系统内部闭合，哪些由外部世界保持开启。让我逐一分析。
1. 是否存在复杂性阈值？
我的观点：是，但阈值并非原始复杂度，而是反射性组织（reflexive organization）。
冯·诺依曼在1948年指出了这种基本结构。他认为机器构建存在三种模式：低于阈值时，构造器只能建造比自身更简单的东西，导致谱系退化；处于阈值时，进行精确的自我构建（一个不动点）；高于阈值时，实现无界增长。跨越阈值的条件是系统具备两个组件：通用构造器以及构造器读取的自我描述，加上复制描述的机制。生物学通过“核糖体 + 基因组”实现了这一点。一个巨大的冻结模型虽然极其“复杂”，但在这一区分中却处于错误的一侧——它没有可写的自我描述，也没有作用于其上的构造器，因此它产生的是不动点，而非增长。
我要对冯·诺依曼的观点补充两点修正：
阈值是关系性的，而非内在固有的。
在一个完全可压缩的环境中，即便系统拥有完美的自我描述，它仍然会收敛：它会解决其世界的问题并停止。开放性（open-endedness）似乎需要一个生成新颖性的环境，其新颖性生成的速度要超过系统对其的压缩速度。因此，“阈值”实际上是系统-环境耦合的一种属性：内部具有自催化闭包（罗森的“有效因果闭合”、甘蒂的“化学子”），外部存在非平衡态。
简单系统衰亡是因为其自我模型是闭合的。
如果一个系统对自我和世界的模型是完备的，那么自我修改仅仅是静态景观中的优化——它会终止。使更复杂系统保持开放的不是复杂度本身，而是不竭的环境强加给它们的非完备性。
当前的大语言模型（LLM）-代理文献从经验上证实了这一点：自我精炼环路之所以迅速达到平台期，是因为可修改的表面（提示词、脚手架、工具）只是冻结内核的一层薄壳。环路在一个低维流形上闭合；阈值从未被跨越。这直接引出了你的第二个问题。
2. 架构和学习规则本身能否进化？
原则上可以——进化确实做到了这一点：基因编码了发育程序和学习规则，而这些规则本身也经过了选择的重塑。但在诚实的回答中，必须承认它之所以困难，因为这种困难是结构性的，而非偶然的。
首先，评估回归（evaluation regress）。
如果学习规则发生变化，评估候选变化的机制也随之改变。评估新学习规则的唯一非循环基础是环境反馈（或者在施密德胡伯的哥德尔机中是形式证明——虽有条理但不可行）。因此，学习规则的进化必然锚定在系统之外，即环境中。不存在纯粹的内部标准。
其次，成本缩放（cost scaling）。
评估对学习规则的修改需要运行其管辖的整个内部学习循环。每一个自我引用的层级都会增加一个外部循环，其评估成本大致等于其下方循环的全部成本。生物学花费了数千年的时间，利用行星规模的并行计算支付了这个账单。这就是为什么我预测实际的演进轨迹将是：首先是自我生成的数据蒸馏回权重中（这已经在发生——STaR风格的自举），其次是架构搜索被纳入循环中，最后是学习规则的自我修改，因为它是成本最高、信用分配最困难的深层循环。
第三，也是你指出的重点，罗森的有效因果闭合（closure to efficient causation）是正确的形式化视角：
生物体是一个系统，其中的每一个有效因都在系统内部产生。当前的递归式自我改进（RSI）系统正是如你所说的那样未能满足这一点——核心模型是由外部工业流程（在蒸馏过的人类文化上预训练）制造的，然后被外挂进来的。系统改进其行为的方式就像动物改进技能一样，但它无法触及自身的“基因组”。由此产生两个后果：
存在根本性的流体-编译权衡： 冻结的底层结构高效但不可进化；全流体的底层结构（到处是自我修改的代码）可进化但缓慢且不稳定。大自然通过时间尺度层级——生理最快，学习较慢，发育更慢，进化最慢——加上巩固事件来解决这个问题，将快速循环中的发现写入缓慢、稳定的底层中（鲍德温效应；遗传同化）。我认为工程化的 RSI 也需要类似的架构：快速的冻结层、缓慢的自我修改元层，以及定期的蒸馏过程，将脚手架级别的发现下推至权重中。
从成本问题中逃脱的一个有希望的途径是学会对学习过程本身的建模： 与其运行完整的内部循环来评估学习规则的变更，不如系统维持一个代理模型，来预测哪些规则变更会带来收益。对元评估进行元学习（meta-learning the meta-evaluation）是摊销外部循环成本的方法。我认为，这是 RSI 中最重要的未充分探索的研究方向之一。

3. 环境的“物理规则”应该是什么样的？
这是我最有强烈观点的问题：开放性存在于耦合中，而非代理本身。仅设计代理并期望其具备无界的自我改进能力，就像设计动力系统的一半一样。在我看来，环境的物理属性应包含以下特征：
持续的非平衡（Persistent disequilibrium）： 可利用的自由能/信息梯度能够再生——改进需要燃料供给，而松弛的环境会使其枯竭。
守恒律和稀缺性（Conservation laws and scarcity）： 资源约束（Tierra/Avida 使用 CPU 时间作为能量）迫使真实的权衡与效率创新。如果没有稀缺性，一切变得微不足道，且没有任何筛选。
组合式、建构性动力学（Compositional, constructive dynamics）： 类化学的物理：简单的局部算子，其组合性支撑起构建块、层级，且——关键的是——无需预定义层级即可涌现新的组织水平（“细胞→多细胞→社会”并非内在于物理定律中；而是物理定律允许了它们的出现）。
空间局域性（Spatial locality）： 局域性限制了信息和能量的流动，这使得个体的界定、生态位的创造以及防止任何单一方案垄断一切成为可能。
其他改进的代理： 确保环境永不枯竭的最佳保证是环境中存在自身也在改进的实体——红后动力学（Red Queen dynamics）。生物体环境中复杂的事物总是其他生物。
没有固定的全局目标： 任何固定的适应度函数最终都会被饱和或被博弈（古德哈特定律同样适用于进化）。通过持久性进行选择——在变化的世界中持续生存——是唯一不会饱和的标准，可能辅以内在驱动力（如新奇性、赋能）以跨越适应度谷。
中性走廊（Neutral corridors）： 改进景观需要由近乎中性路径连接的平地，以便创新能够存活足够长的时间以供测试和组合，而不是被立即清除。
生态位构建耦合（Niche construction coupling）： 这一点最为深刻：代理的活动应当以开启新的改进机会的方式改变环境。大氧化事件（生物向大气排放氧气）创造了全新的代谢设计空间。你需要代理改进与环境复杂性之间形成正向反馈。
来自人工生命领域的一个警示：目前所有的人工设计物理环境（如 Tierra, Avida）最终都会被耗尽——进化总能找到可利用的捷径，然后停滞不前。我怀疑环境本身必须与其居民一同生成或进化——POET 风格的代理与环境共同进化只是其雏形。并且存在一个持续的设计张力：物理规则必须足够丰富以产生实质影响，又要足够廉价以支持大规模模拟，因为（算力消耗与学习诱导改进）的比率是硬性约束。
4. 系统是否应该自我繁殖？
字面上并非必需——但繁殖所提供的功能是必需的，而繁殖是获取这些功能最稳健的已知方式。让我拆解这些功能：
变异-选择并行（Variation–selection parallelism）： 单一自修改器是一条单一的轨迹：它容易陷入僵局，且一次糟糕的自我修改可能是致命的，或者更糟糕，它会破坏本应检测该损坏的机制本身。一个群体通过差分生存来清除有害的修改——选择是一种认识论层面的卫生机制，而孤立系统从结构上缺失这一机制。
可写、可检查的自我描述： 冯·诺依曼指出：自我繁殖迫使描述/构造器分离，而描述（基因组）正是使改进具备累积性、可比较性和可调试性的关键。你无法繁殖你无法表征的事物——繁殖是自我知识的操作性测试。一个无法实例化自身新副本的 RSI 可以说拥有一个未经验证的自我模型。
通过冗余实现的鲁棒性： 分布在副本中的谱系信息是一种纠错码；单一系统则是一个单点故障。
但数字底层的特性在两个重要方面改变了这一算计。复制几乎是免费的，因此生物学庞大的繁殖开销便不复存在。而且遗传可以是拉马克式的：将强大代理的经验蒸馏到新实例中，就是一种带有“获得性性状遗传”的繁殖——这远比达尔文式遗传快得多。我怀疑对于 AI 而言，正确的框架并非整个有机体的繁殖，而是技能的繁殖：不同实例之间的迷因/文化传递，这正是人类尽管生物繁殖缓慢却能取得进步的方式。
关于安全性，这种张力是真实存在的：自主复制正是其中蕴含的危险能力。但请注意，拒绝字面意义上的繁殖并不能化解底层的问题——一个自修改的单一系统仍然面临“后继对齐”问题（我的未来自我会保留我所珍视的东西吗？——即拼图代理问题），且它是在缺乏选择校正机制的情况下面对这一问题的。我诚实的观点是：一个 RSI 应当具备根据明确、可读的自我描述实例化自身新变体的能力，并在环境根基的选择之下——但复制应当受到控制，且遗传通道应当是可解释的（代码 + 蒸馏经验），而非不透明的权重克隆。带有并行评估的检查点已经是退化形式的繁殖；真正的设计问题在于副本是否共存、竞争并进行传递。

综合结论
如果我将所有回答压缩为一幅图景：全自动自我改进系统需要三个闭包。构造闭包（Q1的阈值——冯·诺依曼的描述+构造器），因果闭包（Q2——学习规则本身被实例化为系统内部可变的、环境根基的结构，即罗森的标准），以及遗传闭包（Q4——在选择的压力下将自我描述复制到新的变体中）。而这三个闭包若没有第四个要素将毫无用处，这就不是闭包，而是一种开启（opening）：一个不竭的、共同进化的环境（Q3），它让每一个内部的自我模型保持非完备性。“自我改进”最终是一个误称——改进始终由环境非平衡和算力所驱动。“自我”所贡献的，是能将这种能量引导回其自身构建过程的环路架构。

如果不是改变权重参数的话， 那就是在炒烂
大肥鱼第一轮，在调用工具时，语义错误失败了，写了一条数据库，插进自己的记忆中，以后遇到这种要转译
之后的轮次中就没有出现语义错误导致调用失败了，这是不是递归改进？
少看国外那些奥特曼，还有达里奥那种东西炒烂