ActMem:彌合LLM Agent記憶檢索與推理的鴻溝
南京大學和浙江大學研究團隊提出的ActMem框架,解決了LLM Agent中記憶檢索與推理之間的根本性脫節。當前Agent系統的記憶模組通常將檢索和推理作為兩個獨立階段——先用向量相似度找到相關記憶片段,再交給LLM推理。但這種方式經常導致「找到了但理解錯了」的問題。
ActMem的創新在於「主動記憶」機制:記憶片段不只是被動被檢索,而是能根據當前任務需求主動重組和激活。在ALFWorld和InterCode-SQL基準上,ActMem比現有最佳方案分別提升12%和9%的任務完成率。
ActMem:讓Agent記憶「會思考」
問題:檢索≠理解
當前LLM Agent的記憶系統存在一個根本性問題:檢索和推理是完全分離的兩個階段。
典型流程:用戶問「上週我們討論的那個方案後來怎麼樣了?」→ 系統用向量相似度檢索「上週」「方案」「討論」相關的記憶片段 → 把檢索結果塞進Prompt → LLM在有限上下文中嘗試推理。
問題是:向量檢索只能找到表面語義相似的內容,無法理解深層邏輯關聯。「上週討論的方案」可能與「預算審批」「團隊重組」等看似無關的記憶片段高度相關,但向量相似度捕捉不到。
ActMem的解決方案
ActMem(Active Memory)提出「主動記憶」範式:
1. **記憶分層**:將記憶分為工作記憶(短期)、情節記憶(中期)和語義記憶(長期),模擬人類認知架構
2. **主動檢索**:記憶片段不只是被動被搜索,而是根據當前任務上下文主動「浮現」——類似於人類的「靈感觸發」
3. **檢索-推理融合**:將推理過程嵌入檢索循環中,每次檢索結果都經過推理評估後決定是否繼續深入
技術架構
- **Memory Encoder**:將經驗轉化為多粒度的記憶表示
- **Active Retrieval Module**:基於任務上下文的迭代式主動檢索
- **Reasoning Bridge**:連接檢索結果和推理過程的橋接層
- **Memory Consolidation**:定期整理和壓縮記憶(類似人類睡眠時的記憶鞏固)
實驗結果
在ALFWorld(虛擬家庭任務)和InterCode-SQL(代碼生成)基準上:
- ActMem比最佳基線分別提升**12%和9%**的任務完成率
- 記憶檢索的相關性提升了23%
- 在長期任務(50步以上)中優勢更明顯
意義
ActMem的核心貢獻是證明了:**讓記憶參與推理**比「先檢索後推理」更有效。這對未來的Agent記憶系統設計具有重要指導意義。