WebSwarm:递归多智能体协作重塑深度与广度网页搜索范式

针对现有大语言模型在长轨迹搜索中受限于上下文窗口、难以兼顾深度与广度的痛点,研究团队提出WebSwarm框架。该框架通过动态实例化搜索节点,实现任务分解、递归扩展与智能体协作的联合优化。每个节点可自主求解或向下委派子任务,并向上返回证据以支持父节点聚合。在BrowseComp-Plus等基准测试中,WebSwarm显著优于单智能体及多智能体基线,展现出卓越的搜索效能与泛化能力,为复杂信息检索提供了新的技术路径。

随着大语言模型在信息检索领域的深入应用,网页搜索的任务形态正从简单的问答式事实查询,向复杂的、兼具深度与广度的研究型任务转变。然而,传统的基于 ReAct 范式的单智能体架构面临着严峻的挑战:其单一的长轨迹推理过程极易受限于上下文窗口的容量,导致在同时追求搜索深度与信息覆盖面时出现性能瓶颈。现有的多智能体系统虽然通过并行执行和结果聚合在一定程度上提升了搜索覆盖率,但在递归深度、协作适应性以及基于证据的扩展能力上仍存在明显局限。为此,本研究提出了 WebSwarm,这是一种渐进式的递归委派框架。其核心贡献在于打破了传统线性或扁平化的搜索结构,构建了一个能够动态调整深度的树状协作网络。WebSwarm 不仅解决了单一智能体在复杂推理中的上下文丢失问题,还通过引入递归机制,使得系统能够根据任务需求自主决定搜索的深度与广度,从而在复杂的信息检索场景中实现了更优的性能表现。

这种设计使得智能体不再是被动的执行者,而是具备自主规划与协作能力的搜索主体,为处理高复杂度的研究性查询提供了新的技术路径。在技术实现层面,WebSwarm 采用了一种动态实例化智能体搜索节点的机制,每个节点都紧密耦合了特定的局部目标与搜索模式。搜索模式定义了该节点如何组织自身的搜索行为以及与其他节点的协作方式,赋予了系统极高的灵活性。在推理过程中,WebSwarm 并非预先固定搜索路径,而是根据当前节点的状态动态决定其后续动作:节点可以选择直接利用自身能力解决当前目标,也可以将其进一步分解并委派给子节点。这种递归委派机制允许系统在面对复杂问题时,自动展开更深层次的搜索树。当子节点完成求解后,会将详细的证据和结果向上层节点返回。

父节点接收到这些信息后,能够基于这些证据对搜索过程进行进一步的扩展、修正或聚合,形成一种自底向上的信息反馈与自顶向下的任务分解相结合的闭环。此外,为了引导这一复杂的递归过程,WebSwarm 引入了两项关键策略:首先,通过探测网页上任务相关信息的具体组织方式,为后续的节点扩展提供 grounding 依据,确保搜索方向的合理性;其次,通过在具有相同特征的兄弟节点之间复用过程级经验,显著提升了搜索效率,避免了重复计算,使得系统在大规模搜索任务中仍能保持高效运行。为了全面评估 WebSwarm 的有效性,研究团队在多个权威的网页搜索基准数据集上进行了广泛的实验,包括 BrowseComp-Plus、WideSearch、DeepWideSearch 以及 GISA。这些数据集涵盖了从单一深度查询到广泛广度搜索,再到两者交错的复杂任务类型,能够充分检验系统的综合能力。实验结果显示,WebSwarm 在所有测试基准上均一致地超越了现有的单智能体方法和多智能体基线方法。特别是在需要同时兼顾深度挖掘与信息覆盖面的交错任务中,WebSwarm 的优势尤为明显,证明了其递归协作机制在处理复杂信息需求时的优越性。

进一步的消融实验深入分析了各个组件的贡献,揭示了任务分解、递归扩展以及经验复用模块对整体性能的关键作用。研究还探讨了不同任务难度、网页工具效率以及模型泛化能力对系统表现的影响,发现 WebSwarm 在不同规模的模型上均能保持稳定的性能提升,且对工具调用的优化具有显著的敏感性。这些分析不仅验证了 WebSwarm 架构设计的合理性,也为未来多智能体搜索系统的设计提供了宝贵的洞察,特别是在如何平衡搜索深度与广度、以及如何高效利用历史经验方面。WebSwarm 的提出对开源社区、工业落地以及后续研究具有深远的意义。在开源社区层面,其动态递归的编排框架为开发者提供了一个可扩展的模板,使得构建更复杂的智能体协作系统成为可能,降低了多智能体系统开发的门槛。在工业落地方面,随着用户对信息检索需求的日益复杂化,WebSwarm 所展现出的深度与广度兼顾的能力,有望被应用于金融分析、法律研究、学术综述等高价值场景,显著提升搜索机器人的实用性和准确性。此外,该方法中关于证据 grounding 和经验复用的策略,为后续研究如何提升多智能体系统的可解释性和效率提供了新的思路。通过递归委派和动态协作,WebSwarm 不仅提升了单次搜索的效果,更探索了智能体系统向更自主、更灵活方向演进的可能性。未来,随着大语言模型能力的进一步提升,WebSwarm 所倡导的递归搜索范式可能会成为处理超大规模信息检索任务的标准架构之一,推动智能搜索从简单的信息获取向深度的知识发现转变。

Sources