Fisher-R1：基於強化學習的可靠假設檢定大模型智能體

在实证科学研究中，可靠的假设检验是支撑科学结论的基石。随着大语言模型智能体的兴起，自动化执行从数据检查、代码生成到分析产出的全流程成为可能。然而，本研究指出，尽管这些智能体能够正确执行代码，却经常犯下细微的推断错误，导致得出错误的统计结论。现有的评估基准存在明显缺陷，因为它们很少评估在给定数据底层假设的情况下，报告的p值是否具有统计学有效性。为了填补这一空白，作者构建了P-Bench，这是一个包含425个开放且真实的假设检验任务的基准，涵盖经济学、生物学和医学领域。每个任务要求智能体仅根据科学假设和数据集，选择统计方法、计算p值并得出结论。同时，作者引入了Fisher-R1，这是一个通过合成任务和强化学习训练的开源权重LLM智能体，专为严谨的假设检验而设计。

该方法不仅解决了评估缺失的问题，还提供了一个经过验证的训练框架，旨在提升模型在复杂统计环境下的可靠性。在技术方法层面，Fisher-R1的核心创新在于将强化学习与经过验证的统计奖励相结合。传统的监督学习往往依赖于静态的正确答案，难以捕捉统计推断中的细微逻辑错误。Fisher-R1通过生成合成任务，模拟各种数据分布和假设违反场景，让智能体在训练过程中学习如何识别数据假设并选择恰当的统计方法。在推理阶段，智能体需要端到端地执行假设检验流程，包括数据预处理、方法选择、p值计算及结论推导。训练策略上，作者采用了强化学习算法，对智能体的输出进行统计有效性验证。只有当智能体选择的统计方法与数据假设匹配，且p值计算正确时，才能获得正向奖励。

这种机制迫使模型深入理解统计原理，而非仅仅记忆模式。此外，Fisher-R1-14B作为基座模型，经过特定领域的微调与强化学习优化，具备了更强的逻辑推理能力和统计知识储备，使其能够在面对未知数据集时，做出更稳健的统计决策。实验设置与关键结果充分验证了Fisher-R1的有效性。研究在自行构建的P-Bench基准上进行了全面评估，该基准涵盖了多个学科的真实场景，具有高度的复杂性和多样性。结果显示，Fisher-R1-14B在单轮试验成功率上相比其基座模型有显著提升，并大幅超越了包括GPT-5.4和DeepSeek-V4-Pro在内的强大专有及开源基线模型。具体而言，Fisher-R1在平均相对成功率上比DeepSeek-V4-Pro高出21%，而在最具挑战性的任务上，这一增益达到了26%。消融实验进一步发现，合成任务的多样性和强化学习中的统计奖励机制对性能提升至关重要。

缺乏统计验证奖励的训练会导致模型在假设违反场景下表现急剧下降，而引入经过验证的奖励信号则能显著增强模型的鲁棒性。这些结果不仅证明了Fisher-R1的优越性，也揭示了当前主流大模型在统计推理能力上的普遍短板。从行业意义与潜在影响来看，本研究对开源社区和工业落地具有深远影响。首先，P-Bench的发布为评估LLM在科学计算领域的可靠性提供了标准化工具，推动了相关研究的规范化。其次，Fisher-R1的开源权重模型降低了研究人员部署可靠统计智能体的门槛，促进了自动化科学发现的发展。在工业界，这一技术可应用于药物研发、金融风控等需要严格统计验证的场景，减少因模型推断错误导致的决策风险。此外，研究强调了强化学习在提升模型逻辑严谨性方面的潜力，为后续研究提供了新方向。未来工作可进一步探索多模态数据下的假设检验，以及如何在更大规模的模型中保持统计推理的准确性。总体而言，Fisher-R1不仅是一个性能优越的模型，更是推动LLM向更可靠、更严谨的科学助手迈进的重要一步，为人工智能辅助科学研究树立了新的标杆。