LLM代理评估的幻象：当"护栏"仅起到再分配而非创造福利的作用

本研究聚焦于当前大语言模型（LLM）代理在交互式市场模拟评估中面临的一个隐蔽但致命的问题：构念效度失效。随着基于LLM的代理被广泛用于评估市场政策，研究人员往往依赖模拟输出的经济指标，如价格、利润、消费者剩余和社会福利，来推断代理的行为模式。然而，作者指出，这些看似符合经济学原理的输出，可能并未真正 instantiate（实例化）声称的行为逻辑。为了验证这一风险，研究构建了一个多轮买家-卖家测试床，专门用于可配置的酒店预订交易场景。核心贡献在于揭示了一个关键现象：初始实施中报告的显著福利增益，在严格控制实验变量后，其统计显著性和方向均发生剧烈变化。

这表明，许多关于LLM代理市场行为的结论可能建立在脆弱的实验基础之上，缺乏真正的因果解释力。研究并非否定护栏的作用，而是强调在评估其有效性之前，必须排除实验设计中的混杂因素，否则所谓的"有效"可能仅仅是实验伪影。在技术方法层面，研究采用了一种严谨的审计框架，通过逐步控制变量来隔离不同因素对结果的影响。初始实验使用Qwen2.5系列模型（1.5B至14B参数规模），报告了两种市场护栏带来的福利增益分别为+87.4、+35.0和+28.8。然而，研究团队发现，受保护代理与未受保护代理不仅在护栏应用上存在差异，其提供的报价模式（offer schemas）和选择程序（choice procedures）也完全不同。

为了剥离这些混杂因素，研究者固定了交易模式和买家选择器，仅改变护栏这一单一变量。在这种严格的对照下，原本的增益结果发生了根本性逆转，变化值变为+7.2、-13.9和+23.8，显示出结果对实验设置的极度敏感性。此外，研究还深入分析了生成随机性的影响。对于最大的14B模型，单次生成的效应平均值高达+229，但在每个配置条件下进行三次生成后，平均值降至+37.6，且95%的Bootstrap置信区间为[-34.2, 109.3]，涵盖了零值。事后探测显示，生成残差解释了该阶段变异的49.9%。

这一技术细节揭示了LLM输出的高方差特性如何严重干扰政策评估的稳定性，使得单次或少数几次运行的结果难以作为可靠依据。实验设置与关键结果进一步通过脚本化正对照（scripted positive controls）验证了上述发现的合理性。研究设置了一个利润最大化卖家的基准场景，发现该卖家在默认提示下已经能够达成第一最优福利（first-best welfare）。这意味着，在理想情况下，市场本身已无改进空间，此时引入的护栏实际上主要起到了再分配作用，甚至可能降低整体福利。护栏仅在卖家被明确编程强制捆绑低效商品时，才表现出创造福利的潜力。

基于这些发现，研究提出了一个"构念效度契约"（construct-validity contract），该契约包含四个核心维度：激励有效性（incentive validity）、协议隔离（protocol isolation）、随机稳定性（stochastic stability）和福利核算（welfare accounting）。根据这一契约，原始估计因违反协议隔离而被判定为INVALID（无效），而受控研究因未满足激励有效性和随机稳定性要求，被判定为INCONCLUSIVE（不确定）。这一结果并非证明护栏无效，而是表明在模拟代理和实验协议未通过这些严格检查之前，任何关于护栏价值的实质性主张都是未被识别和未被证实的。这项研究对开源社区、工业落地及后续研究具有深远的行业意义。首先，它为LLM代理评估领域提供了一个重要的方法论警示：不能仅凭表面的经济指标就断定政策或护栏的有效性。对于工业界而言，在部署基于LLM的市场策略或自动化交易代理时，必须建立严格的内部审计机制，确保实验设计的构念效度，避免将实验伪影误认为真实收益。对于开源社区，研究提出的构念效度契约可以作为评估LLM代理行为的标准化工具，促进更透明、更可靠的基准测试。此外，该研究强调了随机性和提示工程在LLM输出中的巨大影响，呼吁后续研究在报告结果时提供完整的置信区间和多次运行的统计摘要，而非仅依赖单次最佳结果。最终，这项工作推动了对LLM代理行为解释的深化，促使研究者从"看输出"转向"验机制"，为构建更可信的AI驱动市场模拟奠定了坚实基础。