DARE-bench：評估LLM在數據科學中的建模與指令保真度

DARE-bench：为何现有基准不够用？

大语言模型（LLM）正在被广泛应用于数据科学任务——从探索性数据分析（EDA）、特征工程，到模型选择与调参。随着这类需求的急速增长，一个关键问题浮出水面：我们如何准确评估LLM在这些场景下的真实能力？

现有通用基准（如MMLU、HumanEval）主要聚焦于知识问答或单步代码生成，无法有效覆盖数据科学工作流的两大核心特征：**多步骤流程依赖性**与**建模决策质量**。这正是DARE-bench所要填补的空白。

两大核心评估维度

DARE-bench（Data science Analysis and Reasoning Evaluation benchmark）提出了一套双维度评估体系：

维度一：过程感知评估（Process-Aware Evaluation）

传统基准只看最终结果是否正确，而DARE-bench要求模型严格遵守指定的数据处理流程——例如，必须在特征缩放之前完成缺失值填充，或必须使用指定的交叉验证策略。这一维度捕捉的是"指令保真度"（Instruction Fidelity）：模型是否真的按照用户的意图一步一步地走完了整个流程？

维度二：建模质量评估（Modeling Quality Evaluation）

这一维度超越了"代码能跑通"的基础要求，评估模型在建模决策上的合理性：是否选择了与任务目标匹配的算法？超参数调整是否具有合理性？是否正确处理了类别不平衡等常见陷阱？换言之，DARE-bench衡量的不是"能否给出答案"，而是"给出的答案有多专业"。

基准设计：如何构建测试场景

任务覆盖范围

DARE-bench涵盖了数据科学工作流的主要阶段，包括数据预处理、特征工程、模型训练与评估，以及结果解读。每个任务附带详细的指令约束，明确规定了模型需要遵循的操作顺序与方法选择边界。

评估方法

研究团队设计了自动化评估管道，通过代码执行追踪中间步骤的合规性，而非仅检查最终输出。同时引入了领域专家对建模质量进行半自动评分，兼顾评估的可扩展性与准确性。

实验结果：顶尖LLM的盲点

指令保真度的普遍缺失

实验结果揭示了一个令人警醒的发现：即使是目前能力最强的LLM，在遵循复杂数据处理指令方面也存在明显短板。模型倾向于"走捷径"——当指令要求的步骤与其训练数据中常见的做法相悖时，模型往往选择忽略约束，按照"惯性"完成任务。

这种现象在多步骤依赖的任务中尤为突出。例如，当指令要求先进行异常值检测再做归一化时，多个模型会直接跳过异常值处理步骤。

建模质量的参差不齐

在建模质量维度，不同模型的表现差异悬殊。部分模型在算法选择上缺乏领域意识，在明显应使用集成方法的场景下仍选择线性模型；另一些模型则在超参数设置上表现出随机性，缺乏对业务场景的理解。

与通用代码生成能力的解耦

值得注意的是，DARE-bench的表现与模型在HumanEval等代码生成基准上的排名并不完全一致。这说明数据科学任务所需的能力——对领域知识的理解、对复杂指令的遵守——与通用编码能力存在本质差异。

行业意义：重新定义"数据科学AI"的评估标准

对AI工具开发者的启示

DARE-bench的出现提示AI产品团队：当前LLM的指令遵循能力在复杂工作流场景下仍有显著提升空间。对于Copilot类数据科学工具（如GitHub Copilot for Data Science、AWS CodeWhisperer等），这意味着需要专门的微调或工作流强化策略，而非仅依赖通用LLM的"开箱即用"能力。

对企业采购决策的影响

在LLM选型时，通用排行榜（如LMSYS Chatbot Arena）并不能反映数据科学场景下的真实差距。DARE-bench为企业提供了一个更具针对性的评估视角，有助于避免"通用能力强但专业任务差"的选型误区。

开源生态的机遇

DARE-bench以开放方式发布，为研究社区提供了一个标准化的评估平台。预计将推动专门面向数据科学任务的LLM微调数据集和训练方法的涌现。

展望：从"代码助手"到"数据科学伙伴"的差距

DARE-bench所揭示的能力差距，本质上指向一个更深层的问题：当前LLM缺乏真正意义上的"流程意识"（Process Awareness）。它们能够生成看起来合理的代码，但难以在复杂、多步骤、有约束的工作流中保持一致的专业判断。

弥合这一差距，需要在训练数据、强化学习目标和评估反馈机制上进行系统性升级。DARE-bench的价值不仅在于揭示问题，更在于提供了一套可量化、可追踪的改进路径，将推动下一代数据科学AI工具向真正的专业伙伴迈进。