Epi2Diff：从大模型推理轨迹中解码人类题目难度

在教育评估与测试构建领域，准确预测人类对题目的感知难度是确保公平性与有效性的核心环节。然而，现有的难度预测方法往往存在明显局限：它们要么依赖于成本高昂且耗时的人工校准过程，要么仅基于题目本身的文本语义特征进行分析。这种单一视角的局限性在于，它忽略了题目在实际解题过程中所引发的认知负荷差异，无法提供关于"为什么某道题对特定人群更难"的认知过程证据。本文的核心贡献在于提出了一种全新的视角，即题目难度不应仅被视为文本属性，而应被理解为题目所诱导的问题解决负担的可观察后果。为此，研究团队提出了Epi2Diff（Episode to Difficulty）框架，这是一种创新性的方法，旨在利用大型推理模型生成的推理轨迹，提取出具有认知基础的片段序列，从而实现对人类题目难度的精准预测与解释。这一方法突破了传统文本表征的束缚，将难度预测从静态的语义分析转向动态的认知过程建模，为教育测量领域引入了基于过程证据的新范式。

在技术实现层面，Epi2Diff框架的核心创新在于如何结构化地处理大型推理模型产生的海量推理轨迹。研究团队首先将连续的推理轨迹分解并映射为一系列"认知片段"，这些片段并非简单的文本切分，而是代表了功能性的问题解决状态。通过这种映射，复杂的推理过程被转化为可量化的状态序列。框架进一步提取了紧凑的"片段动态特征"，这些特征涵盖了推理规模、认知努力分配以及状态之间的转换频率等关键维度。例如，模型会分析解题者在不同认知阶段停留的时间、回溯修改的次数以及最终达成答案的路径复杂度。随后，这些动态特征与题目的语义表示相结合，输入到预测模型中。

这种结合方式使得模型不仅能够理解题目本身的含义，还能模拟人类在解题时可能经历的认知路径，从而更准确地推断出题目对真实人类用户造成的难度。整个训练策略强调了对过程证据的结构化利用，避免了直接利用原始轨迹带来的噪声干扰，确保了特征的可解释性与预测的有效性。为了验证Epi2Diff框架的有效性，研究团队在四个真实的包含人类标注的难度数据集上进行了广泛的实验评估。实验设置涵盖了多种强基线模型，包括经过微调的小型语言模型、利用大语言模型进行上下文学习的方案，以及经过监督适应的大语言模型。实验结果一致显示，Epi2Diff在所有数据集上均显著优于这些基线方法。特别是在基于SAT题目衍生的分类基准测试中，Epi2Diff相较于监督微调的大语言模型基线，实现了平均8.1%的相对性能增益，这一提升在教育测量领域具有显著的统计学意义。

进一步的消融分析与深入探讨揭示了一个重要发现：高难度题目所引发的推理轨迹特征，并非表现为回答长度的简单增加，而是体现出更多"努力型"、"迭代性"以及"实施中心型"的认知片段动态。这意味着，解题难度的增加更多体现在认知策略的调整、反复验证以及具体实施步骤的复杂性上，而非单纯的文本生成量。这一发现不仅验证了框架的有效性，也深化了我们对题目难度本质的理解。Epi2Diff框架的提出对开源社区、工业落地及后续研究具有深远的意义。对于教育技术行业而言，该方法提供了一种无需依赖大规模人工校准即可自动化、规模化预测题目难度的新工具，有望大幅降低题库建设成本并提升评估的公平性。在开源社区，该框架展示了如何利用大型推理模型的过程证据来增强传统教育任务的解释性，为其他需要过程洞察的领域（如代码调试、数学证明验证）提供了可借鉴的技术路径。对于后续研究，这一工作开辟了"认知片段"作为中间表示的新方向，鼓励研究者进一步探索推理轨迹中的微观认知结构。它证明了通过观察AI模型的"思考过程"可以反推人类认知的复杂性，这种跨模态的认知映射思路可能引发教育心理学与人工智能交叉领域的新一轮研究热潮，推动教育评估从结果导向向过程导向的深刻转型。