PEEU方法:透過自主經驗探索與回溯利用增強GUI智慧體任務規劃能力
針對小型開源多模態大語言模型(MLLMs)在GUI任務規劃中存在的弱規劃能力和跨網站泛化性不足問題,本研究提出了一種名為規劃經驗探索與利用(PEEU)的新方法。該方法透過自主探索環境發現經驗,並利用回溯經驗合成嚴格對齊的高層訓練數據,從而顯著提升模型性能。研究還提出了任務分解層次分析框架(TDHAF),從低、中、高三個粒度系統研究組合泛化行為,發現高層任務訓練能帶來更強的分布外(OOD)泛化能力。在真實基準測試中,僅7B參數的PEEU模型準確率高達30.6%,超越了參數量大得多的Qwen2.5-VL-32B模型,證明了構建高層回溯任務和利用經驗對提升小型MLLMs規劃能力的重要意義。