ReContext:基於遞迴證據重放的長上下文推理增強方法

針對大語言模型在長上下文場景中「能讀不能用」的痛點,本文提出了一種名為ReContext的免訓練推理增強方法。該方法利用模型內部的注意力相關性信號,動態構建查詢條件化的證據池,並在最終生成前對關鍵證據進行遞迴重放,從而在不修剪原始上下文、不引入外部記憶且無需微調的情況下,顯著提升模型對長文本中關鍵信息的利用效率。理論分析將上下文視為記憶存儲,將重放過程類比為記憶痕跡的重新激活。在八個包含128K長度上下文的長上下文基準數據集上,ReContext在Qwen3和Llama3系列模型上均取得了最佳平均排名,證明了其在提升長上下文推理能力方面的通用性與有效性。

Sources