HiGram:面向大型語言模型智能體的層級圖記憶與路徑級定位重寫機制
針對長期推理智能體在動態環境中記憶更新效率低及檢索噪聲大的問題,本文提出HiGram框架。該框架採用層級圖結構組織記憶,通過上層節點與MemoryUnits的粗到細架構減少無關信息干擾。創新性地引入基於MicroGraph的路徑級定位技術,在重寫前精準識別支持子圖與證據路徑。同時,提出協同重寫方法,聯合修訂單元內部記憶與單元間依賴關係。在長期對話問答及衝突感知記憶基準上的實驗表明,HiGram在答案質量、Token效率及各類衝突場景下的準確率上均顯著優於基線方法,有效解決了歷史記憶累積帶來的檢索成本增加和獨立更新導致的冗餘問題。
在构建具备长期推理能力的智能体时,如何高效且有效地随时间更新记忆是一个核心挑战。随着新事实的获取和外部反馈的不断输入,智能体需要维护一个既灵活又结构化的记忆系统。尽管近期图记忆因其能支持多跳检索和推理而被广泛采用,但现有方法大多将记忆存储为扁平化的图结构。这种扁平化存储导致随着历史记忆的累积,大量无关上下文被引入,不仅增加了检索证据时的计算成本,还容易干扰推理过程。此外,现有方法通常独立更新记忆单元,当相关事实发生变化时,往往需要进行反复的单元级重写,难以覆盖关联的变更。为了解决这些痛点,本文提出了HiGram,一种具有路径级定位和重写能力的演化层级图记忆框架。其核心贡献在于打破了传统扁平化存储的限制,通过层级结构和路径级操作,实现了记忆的高效组织与精准更新,显著提升了智能体在动态环境下的记忆管理能力和推理准确性。HiGram的技术方法主要包含三个关键组件:层级图记忆结构、基于MicroGraph的路径级定位以及协同重写机制。首先,在结构层面,HiGram构建了一种由上层节点和MemoryUnits组成的粗到细层级架构。
这种设计使得记忆不再是杂乱无章的扁平集合,而是具有层次感的组织形式,从而在检索阶段大幅减少无关信息的干扰,提高信噪比。其次,在定位层面,作者提出了基于MicroGraph的路径级定位方法。该方法利用查询条件和更新条件生成的MicroGraph,在重写操作之前,精准地识别出支持推理的子图和具体的证据路径。这种细粒度的定位能力确保了后续的重写操作能够聚焦于真正相关的记忆片段,而非盲目地遍历整个图结构。最后,在更新层面,HiGram提出了一种协同重写方法。不同于以往独立的单元更新,该方法联合修订单元内部的记忆内容以及单元之间的依赖关系。通过这种方式,HiGram能够在局部化的证据路径上,有效地更新依赖结构,确保记忆的一致性和逻辑连贯性,避免了因局部修改而导致的整体结构断裂或逻辑冲突。为了验证HiGram的有效性,作者在长期对话式问答和冲突感知记忆评估等基准数据集上进行了广泛的实验。实验结果清晰地表明,HiGram在答案质量和Token效率方面均显著优于现有的基线方法。
特别是在动态、静态和条件冲突场景下,HiGram不仅提高了答案的准确率,还显著改善了查询有效证据的选择能力。消融实验进一步揭示了层级结构和路径级定位的重要性:移除层级结构会导致检索噪声增加,而缺乏路径级定位则会使重写操作变得低效且不准确。这些关键结果证明,HiGram通过结构优化和精准定位,成功解决了长期记忆中的噪声累积和更新滞后问题。此外,实验还显示,随着交互轮数的增加,HiGram的性能优势愈发明显,这得益于其高效的记忆更新机制能够持续保持记忆库的整洁和相关性,从而在长程任务中展现出更强的鲁棒性。HiGram的提出对开源社区和工业落地具有深远的意义。对于开源社区而言,该框架提供了一种新的记忆管理范式,鼓励研究者从全局结构和路径依赖的角度重新审视智能体的记忆机制,而非仅仅关注局部单元的更新。在工业落地方面,HiGram所强调的Token效率和检索准确性直接降低了大语言模型智能体的运行成本,使其更适用于资源受限的实际应用场景。此外,其处理动态冲突的能力为构建更加可靠、可解释的智能体系统奠定了基础,有助于解决当前AI系统中常见的幻觉和记忆不一致问题。未来,这一框架可以进一步扩展至多模态记忆、跨会话记忆共享等领域,推动智能体向更高级的长期记忆和自主推理能力迈进。HiGram不仅是一项技术改进,更为构建具备持久记忆和自适应能力的下一代智能体提供了重要的理论依据和实践路径。