差分隱私稀疏獎勵估計：Private Sparse RLHF 的理論與演算法

RLHF 已经成为让大语言模型对齐人类价值观的核心范式，但它依赖的成对偏好数据往往包含用户的敏感信息，一旦泄露就会伤害用户。为此，研究者开始引入差分隐私（DP）来给对齐过程加上严格的数学保证。问题在于，现有的私有对齐方法大多默认奖励函数是稠密参数化的，也就是所有维度都参与刻画人类偏好。这样一来，参数估计误差的上界会随环境维度 d，即模型规模，以多项式方式增长。在如今高度过参数化的模型里，d 极其庞大，这种依赖会让理论保证失去实际意义。这篇论文提出并研究 Private Sparse RLHF 问题：假设人类偏好，也就是奖励模型，只由 d 个特征中的 s* 个相关特征决定，且 s* 远小于 d。

作者声称给出了第一个完整的理论框架，用于在 Bradley-Terry-Luce（BTL）模型下，从成对偏好反馈中做差分隐私的稀疏奖励估计，并为 Sample-DP 与 Label-DP 两种隐私设定分别设计了高效算法。核心贡献有三层：把稀疏性引入私有对齐，让误差主要取决于 s* 而不是 d；同时给出上界与下界，刻画哪些结果已接近最优；最后在两类基准上验证了更好的隐私与效用折中。先看问题设定。偏好数据由成对比较构成，每条样本包含两个候选回答和一个标签，表示人类更喜欢哪一个。BTL 模型假设偏好概率由两个回答的奖励差决定，而奖励由特征的线性组合给出，参数向量中只有 s* 个分量不为零。作者在这个设定下区分了两种隐私粒度。

Sample-DP 保护整条样本，包括特征和标签，攻击者无法判断某个用户的数据是否参与了训练。Label-DP 只保护偏好标签，在很多只关心用户选了哪一个的场景里更现实，也更容易换来较好的效用。针对 Sample-DP，算法必须在高维稀疏结构上注入噪声，同时避免噪声随 d 膨胀，这正是稀疏估计与隐私机制结合的难点。针对 Label-DP，作者基于 randomized response，也就是以一定概率翻转偏好标签，再利用带噪标签做稀疏估计。摘要没有披露全部优化细节，但从误差界的形式可以看出两条路线的差异：Sample-DP 的隐私项是 s*² 与 n²ε² 的比值，随样本量衰减得更快，但对稀疏度 s* 的依赖更重；Label-DP 的隐私项是 s*/nε²，对 s* 的依赖更轻，却只按 1/n 衰减。两种算法都被描述为高效，意味着可以用于实际的奖励模型训练，而不依赖指数级的计算。

理论结果是这篇论文的重头戏。在平方 ℓ2 参数估计误差的衡量下，(ε,δ)-Sample-DP 的上界为 Õ(s*/n + s*²/n²ε²)，其中第一项是不加隐私时的统计误差，第二项是隐私带来的代价。ε-Label-DP 的上界为 Õ(s*/n + s*/nε²)，由 randomized response 得到。这些界里只出现 s* 与训练数据量 n，不再有 d 的多项式依赖，这正是与稠密基线的本质区别。下界方面，作者证明 Sample-DP 的速率接近最优，意味着理论上很难再有大幅改进。对 Label-DP，作者证明在 randomized-response 框架内，现有保证无法再改进，同时给出了该问题的一般下界。

这个一般下界与现有上界之间仍有空隙，为将来跳出 randomized response 的新方法留出了余地。实验部分，作者在情感生成与安全对齐两类基准上，把稀疏框架与稠密基线做了比较，结果显示在相同隐私强度下稀疏方法效用更高，隐私与效用的折中明显更有利。摘要没有给出具体数值、模型规模或消融细节，因此提升幅度、隐私预算范围以及 s* 如何设定，都需要查阅原文确认。这项工作的意义，首先在于把稀疏性这一经典统计假设带进了私有对齐领域。过去讨论 RLHF 隐私，多半关心能否加噪声、训练是否还收敛，很少追问误差对模型规模的依赖。这篇论文指出，如果偏好确实只由少数特征决定，隐私的代价就不必随 d 暴涨，这对开源社区训练大规模奖励模型尤其有吸引力。其次，匹配的上下界让实践者知道改进空间在哪里：Sample-DP 已接近最优，不必在这条路线上投入过多精力；Label-DP 若想更进一步，就必须跳出 randomized response。对工业落地而言，Label-DP 只需保护用户的偏好标注，部署成本较低，Sample-DP 提供更强的保证，两者可以按合规要求选择。当然也要保持审慎：稀疏假设在真实大模型的表示空间里是否成立，取决于特征如何选取；理论分析基于线性奖励与 BTL 模型，距离端到端微调大模型还有一段距离。后续研究可以沿着放松稀疏假设、扩展到非线性奖励、缩小 Label-DP 上下界间隙这几个方向展开。