DataGovBench:面向真實世界數據複雜性的LLM數據分析基準評測

當前針對大型語言模型的數據分析基準多局限於簡單事實檢索,難以應對多表關聯、外部知識整合及探索性分析等核心挑戰。本研究提出DataGovBench,基於政府公開數據構建,涵蓋表問答(Table QA)與表洞察(Table Insight)兩大任務,全面評估模型在複雜數據分析中的表現。實驗顯示,主流模型與智能體框架在這兩項任務上均存在顯著性能差距。結果表明,現有系統距離滿足真實世界數據分析需求仍有巨大差距,DataGovBench為相關研究提供了極具挑戰性的評測標準。

Sources