AttriBench把注意力拉回归因公平性,LLM引用谁也会有偏见

AttriBench 提出一个按性别、种族和交叉身份平衡构建的引用归因数据集,用来测试大模型在“这句话是谁说的”这类任务上的公平性。结果显示,11 个模型在不同群体上的准确率存在系统性差异。这个发现很重要,因为搜索、问答和 AI Overview 越来越依赖模型做信息压缩,而归因错误不仅影响可信度,也可能放大既有偏见。相比传统只看总体准确率的 benchmark,这类数据集更接近真实社会影响。对 AEO 和内容分发平台来说,未来模型是否能公平、稳定地给出处,可能和回答质量本身一样关键。

AttriBench 提出一个按性别、种族和交叉身份平衡构建的引用归因数据集,用来测试大模型在“这句话是谁说的”这类任务上的公平性。结果显示,11 个模型在不同群体上的准确率存在系统性差异。这个发现很重要,因为搜索、问答和 AI Overview 越来越依赖模型做信息压缩,而归因错误不仅影响可信度,也可能放大既有偏见。相比传统只看总体准确率的 benchmark,这类数据集更接近真实社会影响。对 AEO 和内容分发平台来说,未来模型是否能公平、稳定地给出处,可能和回答质量本身一样关键。