PRISM：基于偏好感知影响函数的数据选择方法，破解大模型微调数据瓶颈

在大型语言模型（LLM）不断扩展规模的背景下，训练效率的提升日益依赖于对训练数据更有效的利用。数据选择作为解决这一问题的核心手段，旨在将有限的训练预算分配给最能促进目标行为生成的样本。然而，现有的数据选择方法通常存在一个明显的局限性：它们往往将目标行为简单表示为一组固定的目标示例，并默认这些示例在指导模型学习时具有同等的重要性。这种处理方式忽略了目标示例与当前模型状态之间的动态相关性。实际上，与当前模型行为较为接近的目标示例往往能提供更具操作性的指导，而差异较大的示例则可能引入噪声或导致训练方向偏离。

针对这一痛点，本研究提出了PRISM方法，这是一种基于偏好感知影响函数的数据选择算法。PRSM的核心创新在于引入了"偏好感知"机制，它不再平等地对待所有目标示例，而是利用当前模型自身的偏好来对这些示例进行加权，从而构建出一个能够准确反映模型当前认知状态和目标差距的偏好感知目标表示。这种方法使得数据选择过程更加贴合模型的实际学习需求，避免了无效或低效样本对训练资源的浪费。在技术实现层面，PRISM方法通过影响函数（Influence Function）理论来量化候选训练样本对模型目标行为的影响。具体而言，该方法首先利用当前模型对目标示例进行加权，形成加权后的目标表示向量。

随后，算法计算每个候选训练样本与该偏好感知目标表示之间的对齐程度（alignment），并以此作为样本的评分依据。评分较高的样本被认为更有可能有效地推动模型向目标行为转变，因此会被优先选中进入训练集。从理论分析的角度来看，这种基于偏好的加权策略能够推导出一个更有效的目标行为偏好提升的一阶梯度方向。这意味着，相比于传统方法中均匀分布的梯度更新，PRISM所选择的样本组合能够在数学上提供更直接、更高效的优化路径。此外，该方法在计算上保持了较高的效率，通过影响函数的近似计算，能够在不显著增加额外计算负担的前提下，实现高质量的数据筛选，从而在大规模数据场景下具备良好的可扩展性。

为了验证PRISM方法的有效性，研究团队在多种不同的模型家族和模型规模上进行了广泛的实验评估。实验不仅涵盖了常规的高效微调任务，还特别关注了面向安全性的监督微调（SFT）修复场景，后者要求模型在修正有害行为的同时保持原有的语言能力。实验结果表明，PRISM在这些任务中均优于现有的基线方法。在高效微调任务中，使用PRISM选择的数据子集能够在更少的训练步数或更小的数据量下达到与全量数据训练相当甚至更好的性能指标。在安全修复任务中，PRISM能够更精准地识别出导致模型产生不安全输出的关键数据模式，从而更有效地修复模型的安全漏洞。

消融实验进一步揭示了偏好加权机制的重要性，当移除偏好感知模块而退化为均匀加权时，模型的性能提升幅度明显下降。这些结果有力地证明了精确刻画目标行为特征，特别是考虑到模型当前状态与目标之间的差异，是实现预算高效数据选择的关键因素。PRISM方法的提出对开源社区和工业落地具有深远的意义。在开源社区方面，该方法为研究人员提供了一种新的视角，即数据选择不应仅关注样本的表面特征，更应关注样本与模型当前状态的交互关系。这有助于推动后续研究在数据质量评估、动态数据选择机制以及理论分析框架上的深入探索。在工业落地方面，随着企业部署LLM的成本压力日益增大，如何以最低的数据和计算成本实现模型性能的微调优化成为刚需。PRISM方法通过提高数据选择的精准度，显著降低了训练所需的计算资源和时间成本，使得在资源受限环境下快速迭代和优化模型成为可能。特别是在安全对齐领域，高效的数据选择能够帮助企业更快地修复模型的安全缺陷，满足合规要求。总体而言，PRISM不仅是一个实用的数据选择工具，更是对数据驱动模型优化范式的一次重要补充，为未来构建更高效、更智能的AI训练流程奠定了坚实基础。