搜索
作为 harness 工程的下一步，基于大语言模型（LLM）的进化搜索能够通过反复生成、评估和筛选候选数学和计算机程序，对优选方案进行修改与组合，逐轮提升程序表现。
然而，为维持搜索多样性，多个 agent 需要反复探索不同方案，每次都会先生成冗长的文本推理，再输出程序，消耗大量时间，非常慢。那么，能否省去这部分文本生成，同时保留不同思路之间的交流与组合？
为此，布朗大学团队提出了一个超快、低成本的「进化搜索加速」框架 SwarmEvolve。该框架将推理转入潜（latent）空间，每轮运行一个由 450 个 agent 组成的 agent 蜂群（swarm），通过 KV 缓存交换思路，最后由汇总 agent 生成程序。
结果显示，在 21 个数学与科学计算问题上，SwarmEvolve 达到其他 SOTA 框架 1 小时成绩所需时间的中位数仅需 3-8 分钟，使用 Qwen3 8B 时还改进了 AlphaEvolve 在3 个问题上找到的构造。
论文链接：https://arxiv.org/abs/2611.08483
他们表示，在潜空间中进行通信的 agent 蜂群，为科学问题的程序搜索提供了一种快速、低成本的方法。
研究方法
据论文介绍，SwarmEvolve 是一种利用多 agent 协作开展进化搜索的框架。其中，潜空间 agent 从不同角度研究问题与父代程序，汇总 agent 再读取它们的 KV 缓存，将不同思路组合成新程序。
图｜SwarmEvolve 的工作流程
SwarmEvolve 建立在潜空间推理与潜空间通信研究的基础上。前者使 LLM 使用连续向量进行推理，无须逐步采样并输出文本 token；后者则允许 agent 交换内部表示，而非通过文本消息传递信息。已有方法 LatentMAS 无须训练，就能将两者结合起来，使 agent 将推理形成的 KV 缓存交给汇总 agent 生成答案。SwarmEvolve 将这一机制用于大规模进化搜索。
图｜群体内部的潜空间推理与通信
在 SwarmEvolve 框架下，每轮搜索运行 450 个潜空间 agent，这些 agent 组成不同群体，各自关注不同方向，比如“实现文献中的某种构造”或“采用教科书中的方法”。它们具有不同的专长、父代程序与思考方式，各自执行 40 步潜空间推理。
不过，增加 agent 数量之后，系统仍需保留足够不同的思路。SwarmEvolve 直接利用隐藏状态向量进行筛选。新颖性过滤器依据余弦距离，在各群体中保留推理轨迹差异较大的 agent，无须先将所有思路转换成文本再进行比较。
随后，每个群体的汇总 agent 读取被保留成员的 KV 缓存，生成一份新程序。汇总 agent 能够融合成员从不同父代程序中获得的思路，使交叉组合直接发生在潜空间中。
实验结果
然而，这一设计能否改善搜索，需要同时考察程序生成速度与最终得分。在数学发现和科学计算领域的 21 个问题上，他们将 SwarmEvolve 与 OpenEvolve、ShinkaEvolve 和 CodeEvolve 进行了比较。各框架分别采用 Qwen3 8B、14B 和 32B-FP8，每次在单张 GPU 上运行 1 小时。
图｜四种框架在 21 个问题上的比较
在三种模型配置下，SwarmEvolve 均取得最高的平均得分。它每小时评估的程序数量达到其他 SOTA 框架的 5 至 13 倍，达到各框架运行 1 小时所得成绩所需时间的中位数为 3 至 8 分钟。
同时，平均得分超过了使用 Qwen3 32B-FP8 的 3 个基线框架。
图｜三种模型配置下各框架的得分
另外，他们还考察了潜空间推理本身的作用。将潜空间推理替换为文本推理后，Qwen3 8B 的得分下降，即使分配给文本推理的 token 预算高于潜空间推理预算，也同样如此。他们将其解释为搜索时间的分配问题。文本越长，每轮执行越慢，同一时间内能够评估的程序越少，最终得分也随之降低。
图｜潜空间推理与文本推理 1 小时内取得的最佳得分，对三次运行的结果取平均。
增加 agent 数量带来的收益，则主要体现在搜索早期。更大的群体能够从更多角度研究父代程序，使最初几轮覆盖更多设计空间。他们指出，当单次评估需要运行昂贵的科学或工程仿真、只能测试少量程序时，这种早期优势尤其重要。
到了搜索后期，不同规模的群体会达到相近得分。相比之下，换用规模更大、能力更强的 LLM，仍能持续提高最终得分。
他们认为，这些结果说明，搜索新的数学构造、算法与科学计算方法，并不一定需要前沿模型或庞大的计算预算。对于具备明确评估标准的问题，低成本潜空间 agent 群可以在单张 GPU 上开展大规模程序搜索，将更多计算时间用于探索和检验候选方案。
不足与未来工作
当然，SwarmEvolve 仍有一些局限。首先，所有潜空间 agent 与汇总 agent 必须使用同一个 LLM，因为汇总 agent 只能直接读取来自同一模型的 KV 缓存，这限制了不同模型之间的协作。
其次，当前实现依赖标准注意力机制。线性注意力模型、状态空间模型和混合模型会将历史信息压缩为固定大小的状态，要在这些模型上实现类似通信，还需要解决多个 agent 状态的合并问题。
最后，KV 缓存的内存需求随 agent 数量、潜空间推理步数和模型层数线性增长，因此他们测试的最大模型仍需要大显存 GPU。他们提出，学习不同模型之间的 KV 缓存转换、压缩潜空间消息，以及将每轮计算分散到多张 GPU，可能有助于缓解这些限制。
