NICE学术 · 前沿对话 | 演讲人：郑童（马里兰大学帕克分校博士生、Dream-RSI 第一作者） | 议题：Dream-RSI：让智能体通过“做梦”实现递归自我改进
核心洞察：长程自主智能体实现递归自我改进（RSI）的最大死穴，从来不是底座模型“写不出代码”，而是元搜索层面的“探索策略优化极度昂贵”。传统方法在线调整搜索策略，需等待数千次昂贵的生成与代码真实执行；而 Dream-RSI 的第一性原理颠覆在于：将已走过的探索历史树升格为确定性“回放模拟器”（Replay World）。智能体在离线世界中反思做梦，重新调度分支剪枝与并行策略，无需重新调用大模型与编译器即可获得即时离线反馈，以 0 增量推演成本驱动策略迭代，最终在算法工程、GPU 内核发现与智能体运行框架（Harness）优化中实现超百倍算力节约与大幅性能跃迁。
01 递归自我改进（RSI）的核心瓶颈：固定策略失效与在线元探索的高昂代价
在自主科学发现与复杂工程代码生成任务中，递归自我改进（Recursive Self-Improvement, RSI）被普遍视作通往高阶通用人工智能的关键路径。然而，当前无论是 AlphaEvolve、CodeEvolve 还是 SimpleTES，在面对数千步长周期的超大搜索空间时，均陷入了深刻的“元探索悖论”：
- 静态探索策略的收益递减：固定的启发式规则（如固定分支宽度、简单退火、均匀轮询）无法从历史经验中进化，导致智能体反复在无效死胡同中挥霍算力，随着探索轮次增加，边际产出急剧衰减。
- 元层级反馈严重延迟与昂贵：评估一个候选解仅需单次编译测试；但评估一种“探索策略”，必须等待该策略完整展开数十轮、消耗数千次大模型调用后的整体表现，在线试错成本极其惊人。
- 提示词方向引导的虚妄幻觉：简单在 Prompt 中硬编码方向性经验（如“避开分支A、多尝试算法B”）往往造成早熟收敛，束缚模型的多样性发散，甚至劣于无引导的纯随机扩展。
郑童团队明确指出，必须将“探索策略的编排机制”与“底座智能体的权重”解耦：保持底座执行模型与编译器环境不变，将探索策略显式化为可执行的 Python 编排代码，使闭环自进化的焦点集中于控制层。
02 探索历史即世界模型：Dream-RSI“做梦”机制与离线回放模拟器架构
Dream-RSI 最具革命性的直觉在于借鉴了强化学习中的世界模型（World Models / Dreamer）：一个已经完成的探索过程，其本身就记录了完整的决策拓扑与真实执行结果树。这段历史不应被当作静态的文本日志，而是一个天然的可执行模拟环境。
探索树的数学抽象：探索空间被建模为一棵以初始工作区状态为根节点rrr的树T\mathcal{T}T。每个子节点vvv封装了该步的代码变体、编译日志与客观标量得分svs_vsv。可扩展动作空间为当前所有可见叶子节点集合A(T)A(\mathcal{T})A(T)。
共享的决策控制接口：策略代码在每轮决策中，从可见候选节点中选出并发批次C⊆A(T)C \subseteq A(\mathcal{T})C⊆A(T)（∣C∣≤W|C| \le W∣C∣≤W，其中WWW为最大并行工人数）。批次大小直接决定了计算资源的并行分配与调度节奏。
离线确定性回放（Dreaming）：当新策略πtm\pi_{t}^{m}πtm在历史树中“做梦”时，它重新做出分支选择、分配并行度或提前终止。若选择某一历史节点，环境直接读取此前已保存的执行结果，无需重新调用大模型生成代码，也无需重新运行 GPU 编译测试。
闭环演化飞轮：在线探索生成新历史→\to→历史沉淀扩充模拟器池→\to→离线做梦演化出更高胜率的策略代码→\to→部署新策略开启下一轮在线探索。
这一机制彻底抹平了元探索试错的经济门槛：在历史回放的世界里，几毫秒内即可完成数千步决策推演，智能体得以低成本探索数千种策略分支的优劣。
03 质量、成本与并行度的帕累托权衡：基于超体积（HV）与延迟惩罚的代码策略演化
在离线模拟环境中，如何客观量化一个探索策略代码的优劣？Dream-RSI 构建了一套兼顾最终解质量、计算调用成本与时延并行度的多目标评价体系：
| 核心评估指标 | 数学表征与计算逻辑 | 工程意义与设计初衷 |
|---|---|---|
| 质量-成本超体积 (HV) | HV=∑j(aj−aj−1)(1−njB)HV = \sum_j (a_j - a_{j-1})\left(1 - \frac{n_j}{B}\right)HV=∑j(aj−aj−1)(1−Bnj)积分覆盖多预算偏好下的非支配前沿面 | 衡量策略在不同计算预算下的自适应性，严厉惩罚“高成本换取微小提升”的低效策略，奖励在预算初期即收敛优质解的行为。 |
| 并行度时延惩罚 § | $P = \frac{1}{ | P |
| 综合策略选择评分 (V) | V=HV−λ⋅PV = HV - \lambda \cdot PV=HV−λ⋅Pλ\lambdaλ控制并行效率与探索深度的权衡因子 | 策略演化智能体（LLM Policy-Development Agent）依据多轮做梦轨迹日志对 Python 策略代码进行代码重构，挑选VVV最高者上线。 |
更关键的是，消融实验证实：若仅将历史总结为文本建议注入 Context，后续探索极易偏执；而通过重写调度算法代码（如引入动态自适应门限、基于方差的主动早停），策略能够优雅地在“发现瓶颈期加大并发发散”与“收敛平稳期收紧资源消耗”之间自由切换。
04 跨四大领域严苛实证：从内核发现到Harness优化，百倍算力节约与自主进化范式
在涵盖算法工程、数学优化、GPU 高性能算子及智能体 Harness 优化的 4 大领域、9 种任务上，Dream-RSI 均展现出了碾压式的收敛速度与质量飞跃：
- 算法工程：Lasso 正则化求解器：在 6 个跨领域真实测试集上平均运行耗时由 3587.1ms 降至 2931.0ms，仅消耗 317 次调用，较 SimpleTES 算力节省高达 162 倍，且泛化性能超越标准库 sklearn 与 glmnet。
- GPU 算子：KernelBench 实战：在 VGG16 与 LayerNorm 算子上分别减少 2.43× 与 1.79× 的调用量即可达到同等性能；在 ConvDiv 与 ConvMax 算子上在同等预算下性能分别跃升 2.09× 与 1.44×。
- 数学前沿：组合与函数优化：在 Sum-Difference 问题上斩获 1.145427 创下新高；Circle Packing 达到顶尖的 2.635983；以不到 1000 次生成匹敌了 SimpleTES 51200 次生成的求解表现。
- Harness 自演化：终端能力跃迁：在 Terminal-Bench 2.1 智能体基准上，通过演化智能体运行框架（Harness），评分从 72.47% 跃升至 80.90%（净增 +8.43 个百分点），实现框架级自举进化。
Dream-RSI 为智能体领域带来了深刻的范式转移：真正的递归自我改进，并不局限于盲目微调底座模型，而在于将探索经验转化为确定性模拟资产。当“历史回放”成为智能体免费做梦反思的演武场，AI 正在从单次线性的求解机器，蜕变成为具备自省调优、自我演化的长程探索者。
技术解读：NICE学术前沿学术报告 · 读马里兰大学郑童团队工作《Dream-RSI: Recursive Self-Improvement through Evolving Worlds》全景解析
