從文本到語音：可複現的語音工具呼叫大模型智慧體評估框架
本文針對語音智慧體在工具呼叫方面缺乏可靠評估基準的問題，提出了一種無需重新標註工具模式和黃金標籤即可將現有文本基準轉換為受控音訊評估的通用框架。該框架透過文本轉語音、說話人變化和環境噪音生成配對的文本-音訊實例，保留了原始資料集的標註資訊。透過對7個全模態模型在Confetti和When2Call資料集上的廣泛評估，研究發現模型效能高度依賴於具體模型和任務類型。例如，Gemini-3.1-Flash-Live在Confetti上得分最高，而GPT-Realtime-1.5在When2Call上表現最佳。分析顯示，效能下降主要源於對語音中引數值的誤解。此外，研究還驗證了基於開源大模型的無參考評估協議，發現8B以上的Qwen3模型與專有模型評估結果的一致性超過80%，為隱私保護評估提供了支持。
随着语音智能体在现实世界中的广泛应用，如何确保它们能够可靠地从语音输入中执行工具调用，成为了当前人工智能领域亟待解决的关键问题。然而，现有的主流工具调用基准测试大多仅基于文本数据，难以直接反映语音场景下的真实表现。为了解决这一差距，本研究提出了一种数据集无关的通用评估框架，旨在将现有的文本基准高效且可复现地转换为受控的音频评估环境。该框架的核心贡献在于，它无需对工具模式（Tool Schema）和黄金标签（Gold Labels）进行重新标注，即可生成高质量的评估数据。
通过引入文本转语音技术、多样化的说话人特征以及模拟的环境噪声，该框架能够创建出与原始文本实例一一对应的音频数据，从而在保留原有标注信息的同时，全面考察模型在语音模态下的工具调用能力。这一方法不仅降低了构建音频基准的成本，也为跨模态能力的标准化评估提供了一种可验证的新途径。在技术实现层面，该框架采用了一种精细的数据转换策略，以确保评估的严谨性和公平性。首先，利用先进的文本转语音引擎将基准测试中的文本指令转化为语音输入，同时注入不同说话人的音色、语速变化以及背景环境噪声，以模拟真实世界中复杂的声学环境。
这种处理方式不仅增加了数据的多样性，还迫使模型必须具备更强的鲁棒性来应对语音识别中的潜在误差。其次，框架严格保留了原始文本数据中的工具调用结构和参数值，确保评估焦点集中在模型对语音内容的理解和工具执行能力上，而非仅仅测试语音识别准确率。在训练和评估策略上，研究选取了7个主流的全模态大语言模型，包括闭源的商业模型和开源模型，分别在Confetti和When2Call两个基准的音频转换版本上进行测试。这种设计使得研究人员能够系统地分析不同架构和训练策略的模型在语音工具调用任务上的表现差异，从而深入理解多模态融合过程中的技术瓶颈。
实验设置涵盖了两个具有代表性的工具调用基准：Confetti和When2Call，分别侧重于不同的任务复杂度和交互场景。关键结果显示，模型性能表现出强烈的模型依赖性和任务依赖性。例如，在Confetti基准上，Gemini-3.1-Flash-Live取得了70.4分的最高成绩，而在When2Call基准上，GPT-Realtime-1.5以71.9分领先。进一步的分析揭示了文本到语音的性能差距（Text-to-Voice Gap），该差距在不同模型间波动较大，从Qwen3-Omni的1.8分到GPT-Realtime-1.5的4.8分不等。
通过对失败案例的针对性分析，研究发现性能下降的主要原因并非语音识别错误，而是模型在理解语音输入中的参数值时出现了误解，例如混淆时间、地点或对象属性。此外，研究还引入了基于歧义的重构压力测试和无参考的大语言模型作为裁判（LLM-as-judge）协议，以模拟更复杂的现实部署场景。这些实验不仅验证了框架的有效性，还为理解多模态模型在复杂交互中的弱点提供了实证依据。该研究对开源社区、工业落地及后续研究具有深远的意义。首先，它提供了一个可复现且可验证的第一阶段诊断工具，弥补了现有音频语料库建设成本高、周期长的不足，使得研究人员能够快速评估新模型在语音工具调用方面的基础能力。其次，研究中发现的开源Qwen3裁判模型（参数规模至少8B）与专有模型在评估结果上超过80%的一致性，为隐私保护评估提供了强有力的支持。这意味着在涉及敏感数据的场景中，企业可以使用开源模型进行内部评估，而无需依赖外部专有API，从而降低数据泄露风险并节省成本。最后，该框架的通用性使其能够轻松扩展到其他多模态任务，推动语音智能体向更可靠、更透明的方向发展，为未来构建真正实用的语音助手奠定了技术基础。