可審計的詐欺偵測：圖特徵、模型解釋與智能體調查的協同與極限
針對詐欺偵測系統在交易規模擴張下對可解釋性與可審計性的需求，本研究提出並評估了一種分層處理流水線。研究以 PaySim 資料集為基礎，整合了梯度提升分類器、圖結構特徵、基於自編碼器的異常訊號、TreeSHAP 解釋方法，以及用於不確定案例的受限大型語言模型（LLM）調查智能體。主要貢獻在於先識別並移除資料集中模擬器特定的餘額捷徑偏差，進而取得更真實的基線效能。實驗發現，儘管圖特徵與異常訊號在全量測試集上未能提升平均精確度，但在中間評分案例的子集中能顯著改善詐欺排序能力。在注入的多帳戶詐欺環實驗中，工程化結構特徵達到了 100% 的召回率，而表格基線僅召回 75%。然而，LLM 智能體在調查任務中表現不佳，準確率僅 65.0%，低於直接閾值法的 71.7%，且經常將正確的預測錯誤修正。研究強調，各組件僅在特定條件下有效，智能體提出的連貫理由並非決策正確的證據。
在金融欺诈检测领域，随着交易量的指数级增长，系统不仅要追求高准确率，还必须满足日益严格的监管要求，即具备高度的可解释性和可审计性。传统的黑盒模型虽然性能优异，但难以向审计人员或监管机构提供清晰的决策依据。本研究旨在解决这一核心矛盾，提出并深入评估了一种分层欺诈检测流水线。该流水线并非简单堆砌模型，而是试图将机器学习预测、图结构分析、异常检测信号以及基于大语言模型的智能体调查相结合，形成一个从初步筛选到深度调查的完整闭环。研究的核心贡献在于不仅展示了这种复杂架构的构建方式，更通过严谨的实验设计，揭示了各组件在实际应用中的真实效能边界，特别是指出了当前流行的大语言模型在特定欺诈调查任务中可能存在的幻觉与性能退化问题，为构建可信赖的金融AI系统提供了重要的实证依据。在技术方法上，研究构建了一个包含多个模块的复杂系统。首先，基线模型采用梯度提升分类器处理表格数据，并辅以基于自编码器的异常信号作为补充特征。
为了捕捉欺诈团伙的关联性，系统引入了图结构特征，旨在识别多账户间的隐蔽联系。在解释性方面，系统利用 TreeSHAP 为每个预测提供局部解释，说明哪些特征驱动了欺诈判定。最引人注目的是，系统引入了一个受限的大语言模型（LLM）调查智能体，专门针对分类器评分处于不确定区间的案例进行深度调查。该智能体能够访问模型解释、图上下文信息以及检索到的参考案例，旨在生成人类可读的调查理由。然而，在正式评估前，研究团队进行了一项关键的预处理步骤：识别并移除了 PaySim 数据集中存在的模拟器特定余额捷径（balance shortcut）。这一捷径会导致基线模型通过简单的余额阈值而非复杂模式来预测欺诈，从而虚高性能。去除该偏差后，所有后续比较才具有统计学意义和实际参考价值。
实验设置与结果揭示了分层系统中各组件的非线性贡献。在全量测试集上，去除捷径后，图结构特征和异常信号并未显著提升分类器的平均精度（Average Precision）。这表明在整体分布中，这些高级特征并未带来普遍性的性能增益。然而，当聚焦于分类器评分处于中间区间（即模型最不确定）的案例子集时，图特征和异常信号显著改善了欺诈样本的排序能力。特别是在注入的多账户欺诈环实验中，工程化的结构特征成功恢复了所有注入的测试交易，召回率达到100%，而仅依赖表格数据的基线模型仅能召回约75%。这一结果强有力地证明了图特征在识别团伙欺诈方面的独特价值。相比之下，LLM调查智能体的表现令人失望。
在一个包含60个平衡样本的控制实验中，智能体的准确率为65.0%，显著低于直接对分类器输出应用阈值的71.7%。更严重的是，在智能体做出的8次决策变更中，有6次是将原本正确的分类器预测错误地修正为错误，显示出智能体在缺乏足够结构化约束时容易产生"过度自信"的幻觉。从行业意义与潜在影响来看，本研究对当前火热的"AI Agent + 金融风控"趋势泼了一盆冷水，同时也指明了方向。首先，它强调了数据预处理中消除偏差的重要性，任何未经清洗捷径的模型评估都可能导致错误的乐观结论。其次，研究证实了混合架构中"各司其职"的必要性：图特征擅长捕捉团伙关联，传统模型擅长个体模式识别，而LLM智能体目前尚不能替代确定性规则或阈值判断，其生成的连贯文本理由并不等同于正确的决策逻辑。这对工业界落地具有指导意义：在构建可审计系统时，不应盲目依赖LLM的最终裁决，而应将其作为辅助工具，并引入基于分歧的升级机制（如本研究提出的探索性规则，成功标记了部分智能体错误供人工复核）。未来的研究方向应聚焦于如何更好地约束LLM的行为，或将其仅用于生成解释而非改变预测结果，从而在保持可解释性的同时不牺牲检测性能。