基於RFM-AGOP的快速多維拒絕子空間提取:突破推理模型計算瓶頸

本文針對大語言模型中有害查詢拒絕行為的多維子空間提取難題,提出了一種高效且可擴展的方法RFM-AGOP。傳統方法假設行為編碼於單一線性方向,但最新研究表明拒絕行為存在於多維子空間中,而現有提取算法計算成本高昂,難以應用於產生長推理軌跡的推理模型。研究團隊將遞歸特徵機(RFM)算法與探針引導的初始化策略相結合,成功在秒級時間內從Qwen 3(推理模型)和Qwen 2.5(非推理模型)中識別出多維拒絕子空間。實驗表明,RFM不仅在提取速度上顯著優於替代方案,在消融任務中的性能也更為出色。該方法為LLM的安全監測和可解釋性研究提供了一種低成本、高擴展性的補充工具,有望推動AI安全領域的工程化落地。

Sources