OmegaUse-OfficeVal：以经济成本为锚，重估LLM智能体在长周期办公任务中的真实能力

随着大型语言模型智能体在辅助用户完成复杂任务方面的能力日益增强，如何科学、全面地评估其在实际办公场景中的表现，已成为人工智能社区关注的焦点。现有的基准测试往往侧重于单一任务或短期交互，缺乏对长周期、多步骤办公工作流的支持，更未能有效衡量执行这些任务的经济合理性。针对这一痛点，本研究提出了OmegaUse-OfficeVal基准，旨在解决LLM智能体在长周期办公套件任务中的评估难题，并首次引入任务级经济锚点概念。该基准不仅关注智能体能否完成任务，更强调在合理成本下完成高质量工作流的能力。通过构建包含100个真实办公场景任务的测试集，研究团队为LLM智能体提供了一个贴近现实、兼具技术性与经济性的评估平台，填补了当前领域在长周期办公自动化评估方面的空白，为衡量智能体从"可用"向"好用"及"经济可用"转变提供了关键指标。 在技术方法层面，OmegaUse-OfficeVal的设计极具匠心，其核心在于将抽象的任务执行转化为可量化的经济信号。基准测试中的100个任务均源自从业者的真实办公需求，并经过严格的隐私保护处理，确保了数据的真实性和实用性。每个任务平均需要2.32小时的人类劳动时间，这反映了办公任务的复杂性和长周期性。为了支持稳定且客观的评估，研究团队开发了基于代码的验证器，这些验证器建立在细粒度的评分标准之上，能够精确判断智能体输出的每一步操作是否符合预期。此外，每个任务都配有两个关键的经济信号：人类劳动时间和任务价格代理。这两个信号构成了经济锚点，使得研究者能够直接计算并对比人类完成这些任务的成本与LLM进行推理和执行的计算成本。这种设计不仅允许进行传统的性能评估，还引入了价值加权评估机制，从而更全面地反映智能体在真实商业环境中的潜在价值。通过这种细粒度的代码验证和经济信号结合的方法，研究团队构建了一个既严谨又具有现实指导意义的评估框架。 在实验设置与关键结果方面，研究团队在OmegaUse-OfficeVal基准上评估了多款前沿的大型语言模型，并设立了人类基线作为对比参照。实验结果显示，虽然所有被评估的LLM在推理速度和执行成本上都显著低于人类工人，展现出效率上的巨大优势，但在交付物的整体质量上，它们尚未达到人类水平。这一发现揭示了当前LLM智能体在长周期、高复杂度办公任务中存在的局限性，即虽然单步操作可能准确，但在长时间跨度的任务连贯性、细节处理及最终成果的专业度上仍有提升空间。通过引入价值加权评估，研究进一步揭示了不同模型在成本与质量权衡上的差异。消融实验和分析表明，细粒度的代码验证器对于捕捉智能体在长任务中的细微错误至关重要，而经济锚点的引入则清晰地展示了当前LLM在"性价比"上虽具潜力，但在"高质量交付"上仍需突破。这些结果为理解LLM智能体在办公自动化领域的实际能力边界提供了实证依据。 OmegaUse-OfficeVal的发布对开源社区、工业落地及后续研究具有深远的意义。首先，该基准的代码和数据集完全开源，降低了研究人员进入该领域的门槛，促进了学术界的协作与创新。其次，通过引入经济锚点，该基准为工业界评估和部署LLM智能体提供了新的视角，即不仅关注技术指标，更要关注经济可行性和投资回报率。这对于企业决定是否采用AI辅助办公系统具有重要的参考价值。最后，该研究指出了当前LLM智能体在长周期任务质量上的不足，为后续研究指明了方向，即需要开发更强大的规划能力、记忆机制和错误纠正策略，以提升智能体在复杂办公场景中的鲁棒性和交付质量。OmegaUse-OfficeVal不仅是一个测试工具，更是一个推动LLM智能体向更实用、更经济、更高质量方向发展的催化剂，有望加速AI在办公自动化领域的深度融合与应用。