UniClawBench：面向真實世界主動式智能體的能力驅動型通用基準評測

隨著大型語言模型及多模態大模型的發展，能夠操作日常工具並協助用戶在真實環境中工作的主動式智能體迅速興起。然而，現有基準測試多依賴沙盒環境及單輪評估範式，且場景分類混淆了多種模型能力，難以精準定位智能體失敗的根本原因。為此，本文提出了UniClawBench，這是首個面向動態真實世界場景的能力驅動型基準。該基準圍繞技能使用、探索、長上下文推理、多模態理解和跨平台協調五大核心能力，設計了400個雙語真實任務。與以往依賴靜態答案的評測不同，UniClawBench在即時Docker容器中進行細粒度的分步檢查點評估，並設計了包含執行、監督和用戶智能體的閉環評估策略，以模擬真實的多輪人類反饋。通過在多個智能體框架下評估前沿模型，研究揭示了基礎模型能力與框架設計如何共同影響真實環境中的表現，相關代碼與基準已開源。