进化搜索：让最强 Harness 存活
AlphaEvolve / DGM / SIA，用进化算法在庞大设计空间中发现最优 Agent
本页解决的问题
先给结论「进化搜索：让最强 Harness 存活」要解决的关键问题是什么？
AlphaEvolve / DGM / SIA，用进化算法在庞大设计空间中发现最优 Agent
让这个结论先证明自己值得留下。 把这一页当成决策工具，而不是需要背下来的定义。把概念连到一个真实任务、一个可观察结果，以及一个能改变你判断的失败上。
写下一个问题：试完这个方法后，你能用什么证据回答它？
结论听起来很完整，却没有检查最关键的假设。
2. 梯度不可用，但评估容易：无法对 prompt 文本求导，但可以直接在基准测试上跑出分数。
3. 多样性有价值：不同任务可能需要不同风格的 Harness，进化天然维护种群多样性。
GEPA（Agrawal et al. 2025）：结合 reflection-based prompting 和进化搜索。Agent 先反思当前 prompt 的不足，再通过进化算子产生候选改进，最终选择最优。
这两项工作为后续更大规模的 Harness 进化奠定了基础。
Novikov et al. "AlphaEvolve: A coding agent for scientific and algorithmic discovery." 2025.
# EVOLVE-BLOCK-START / # EVOLVE-BLOCK-END 显式标记可改进区域
Zhang et al. "The Darwin Gödel Machine: Open-Ended Evolution of Self-Improving Agents." 2025.
- 初始化：从池中一个 coding agent 开始
- 选择父代：按性能概率选一个父代（概率与子代数量成反比，鼓励探索）
- 反思 + 提议：父 agent 检查自己的 benchmark 评估日志，提出 harness 改进方案
- 变异：修改 harness 代码，产生新 agent
- 评估：新 agent 在基准测试上评估，只有性能足够高才被加回池中
- 重复：循环直到达到停止条件
实验（基于 Claude 3.5 Sonnet）：
· SWE-bench Verified：20% → 50%（+30 pp）
· Polyglot：14.2% → 30.7%（+16.5 pp）
无需人类介入，Agent 自主进化出更强的 harness 设计。
适用场景
- 候选解可自动评估
- Fitness 易量化（数值化指标）
- 矩阵乘法加速
- GPU kernel 优化
- 算法竞赛
- 数据中心调度
不适用场景
- 评估速度慢（每次需数小时）
- 评估标准模糊或主观
- 主要基于启发式判断
- 计算预算有限
- 需要人类审核环节
· Meta-Agent：提出新的 harness 设计
· Task-Specific Agent：在新 harness 下执行任务
· Feedback-Agent：根据结果决定下一步是更新 harness 还是更新模型权重
方向有趣，但证据暂时性：训练稳定性和 Goodhart 效应（优化代理指标导致真实目标退化）仍是开放挑战。
Hebbar et al. "Self-Improving Agents." 2026.
「搜索空间太大、梯度不可用，进化是唯一务实的答案」里的算法代价曲线
「Novikov et al.」真正训练的不是背诵步骤，而是识别重复工作：输入变大时，程序到底多做了多少次比较、移动或递归。
先找重复工作，再谈快慢
「Zhang et al.」可以拆成输入规模、每轮做什么、以及是否能缩小下一轮范围三个问题。Big-O 是描述增长趋势的语言，不是对每台机器的精确计时；常数、内存和真实数据分布也会影响最终结果。
- 初始化 ：从池中一个 coding agent 开始
- 选择父代 ：按性能概率选一个父代（概率与子代数量成反比，鼓励探索）
- 反思 + 提议 ：父 agent 检查自己的 benchmark 评估日志，提出 harness 改进方案
别把理论最优当成无条件最优
面对 AI 写出的算法，先用小输入手算一遍，再用逐渐放大的数据做基准测试。这样才能把「Hebbar et al.」从一句结论变成可检查的性能判断。
从「搜索空间太大、梯度不可用，进化是唯一务实的答案」走到「为什么进化搜索适合 Harness 优化」
「搜索空间太大、梯度不可用，进化是唯一务实的答案」先把问题落在「Harness 由 prompt、工具调用策略、上下文管理逻辑和代码片段共同组成。这些组件的组合空间庞大且形状奇特，无法用梯度直接优化，但可以轻松评估一个候选 harness 的好坏。这恰恰是进化搜索最擅长的领域」上；到了「为什么进化搜索适合 Harness 优化」，讨论继续推进到「💬 说人话： 进化搜索就是 大自然选育庄稼 的套路：种一大片，长得好的留种，长得差的淘汰，偶尔杂交变异一下，一代代下来庄稼越来越好。为什么用这招？因为 Harness 是由 prompt、代码、配置混搭出来的东西， 没法用数学公式算出最优解 （术语叫梯度不可用），但很容易比出谁好谁差。能打分、不能求解的问题，正适合「养一群、留最强」。 三个契合条件 1. 搜索空间庞大且形状奇特 ：Harness 的组件包括自然语言…」。两段连起来，重点就不只是记住一个结论，而是看清它成立所依赖的条件。
把这条判断带到下一个场景
算法题换成真实任务后，先找出重复工作，再问输入规模如何变化，最后用一个小基准验证理论判断。这样不会把复杂度记成脱离场景的标签。
- 「搜索空间太大、梯度不可用，进化是唯一务实的答案」：Harness 由 prompt、工具调用策略、上下文管理逻辑和代码片段共同组成。这些组件的组合空间庞大且形状奇特，无法用梯度直接优化，但可以轻松评估一个候选 harness 的好坏。这恰恰是进化搜索最擅长的领域
- 「为什么进化搜索适合 Harness 优化」：💬 说人话： 进化搜索就是 大自然选育庄稼 的套路：种一大片，长得好的留种，长得差的淘汰，偶尔杂交变异一下，一代代下来庄稼越来越好。为什么用这招？因为 Harness 是由 prompt、代码、配置混搭出来的东西， 没法用数学公式算出最优解 （术语叫梯度不可用），但很容易比出谁好谁差。能打分、不能求解的问题，正适合「养一群、留最强」。 三个契合条件 1. 搜索空间庞大且形状奇特 ：Harness 的组件包括自然语言…
- 「最后的要点」：评估 ：新 agent 在基准测试上评估，只有性能足够高才被加回池中
最后的「最后的要点」把讨论落到「评估 ：新 agent 在基准测试上评估，只有性能足够高才被加回池中」。回看这条线索时，最值得保留的是：当输入、规模或风险改变，哪些判断需要重新做一遍。
我把这篇文章里的一个判断改写成了今天可以验证的小实验。比记住结论更有用的是，知道下一步要观察什么。
读完以后我先回头找它成立的条件，而不是直接把方法搬进项目。这个顺序让后面的取舍清楚很多。
如果把这个判断放到真实工作里，最先需要补的约束是什么？我想知道从阅读到第一次实践之间，哪一步最值得先做。
还没有这篇文章的讨论。