PEEU方法：透過自主經驗探索與回溯利用增強GUI智慧體任務規劃能力

在数字化办公与自动化操作日益普及的今天，多模态Web智能体（Multimodal web agents）作为辅助人类执行重复性图形用户界面（GUI）任务的重要工具，其核心价值在于能否将复杂的用户指令有效分解为可执行的原子操作。然而，尽管相比商业闭源大模型，小型开源多模态大语言模型（MLLMs）在成本效益和数据隐私保护方面具有显著优势，但它们在处理复杂任务规划时往往显得力不从心。具体而言，这些小型模型普遍存在规划能力薄弱以及在跨网站场景下泛化能力有限两大痛点。为了解决这一关键瓶颈，本研究提出了一种创新的规划经验探索与利用（PEEU）方法。该方法的核心贡献在于构建了一个闭环的学习机制：一方面，智能体能够在环境中自主探索，主动发现并积累有效的操作经验；另一方面，通过引入回溯经验（hindsight experience）机制，系统能够合成严格对齐的高质量高层训练数据。这种机制不仅弥补了小型模型在数据获取上的劣势，更从根本上增强了其理解复杂任务逻辑的能力，为提升小型开源模型的实用价值提供了新的技术路径。

在技术实现层面，PEEU方法并未依赖传统的监督微调，而是侧重于通过强化学习与数据合成相结合的方式优化模型的规划策略。具体而言，模型被赋予在未知或半结构化GUI环境中自主探索的能力，通过试错过程收集状态-动作对的经验轨迹。随后，系统利用回溯学习技术，将那些最终成功完成任务的轨迹进行逆向分析，提取出关键的高层决策逻辑，并据此合成与当前任务严格对齐的训练样本。这种合成数据不仅包含了具体的操作指令，更蕴含了任务分解的逻辑结构。此外，为了深入理解模型泛化能力的内在驱动因素，研究团队设计了任务分解层次分析框架（TDHAF）。该框架将任务粒度细分为低、中、高三个层次，分别对应原子技能、中间步骤和高层规划。

通过这一框架，研究者能够精确地评估模型在不同抽象层级上的表现，从而指导训练策略的优化，确保模型不仅掌握基础操作，更能理解任务的整体结构。为了验证PEEU方法的有效性，研究团队在多个真实的GUI操作基准上进行了广泛的实验评估。实验结果令人瞩目：仅拥有70亿参数的小型模型，在应用PEEU方法后，其任务执行准确率达到了30.6%。这一成绩具有极高的对比价值，因为它显著超越了参数量高达320亿的Qwen2.5-VL-32B模型。这一结果有力地证明了，在特定任务领域，通过高质量的经验数据增强，小型模型完全可以媲美甚至超越大型通用模型。进一步的消融实验与TDHAF分析揭示了一个重要的发现：仅仅掌握低层级的原子技能（如点击、输入）并不足以保证模型具备高层级的规划能力；相反，专门针对高层任务进行训练，能够显著提升模型在分布外（OOD）场景下的泛化性能。

这意味着，模型需要理解任务的宏观结构，而不仅仅是微观的操作序列，才能在面对未见过的网站或任务变体时保持鲁棒性。从行业意义与潜在影响来看，这项研究为开源AI社区和工业界落地GUI自动化提供了极具价值的参考。首先，它证明了通过精心设计的经验探索与利用机制，可以大幅降低对超大参数模型的依赖，从而在资源受限的边缘设备或隐私敏感场景中部署高效的智能体。其次，提出的TDHAF框架为后续研究提供了一个系统化的分析工具，有助于学术界更深入地理解多模态模型在组合泛化方面的机制。对于工业界而言，PEEU方法所展现出的低成本、高泛化特性，使其在软件测试、RPA（机器人流程自动化）以及个人助手开发等领域具有广阔的应用前景。未来，随着更多类似方法的涌现，小型开源多模态模型有望在复杂交互任务中扮演更加核心的角色，推动AI从"感知"向"行动"与"规划"的深度演进。