超越声学情绪识别：多模态大模型重构政治演讲的情感计算范式

在政治传播与情感计算的交叉领域，如何精准量化演讲中的"Pathos"（即通过情感诉求影响受众的能力）一直是一个极具挑战性的难题。传统方法往往依赖声学特征，如音高、语速和音量来推断情绪，但这忽略了语言内容的深层语义。本研究的核心贡献在于提出并验证了一种基于大语言模型的多模态分析框架，旨在解决声学模型在复杂政治语境下捕捉情感维度的局限性。研究团队并未止步于简单的模型对比，而是深入探讨了不同技术路径在解析政治演讲情感时的有效性差异。通过引入 TRUST 多智能体大语言模型流水线作为"Pathos"维度的操作化定义基准，研究试图回答一个关键问题：现有的声学情绪识别模型是否足以替代或辅助基于语义理解的情感分析？这一研究不仅填补了政治演讲自动化分析在情感维度量化上的空白，更为理解人工智能如何辅助政治话语分析提供了实证依据，强调了语义理解在复杂社会情感分析中的不可替代性。

在技术方法层面，研究构建了一个严谨的三模态对比实验框架。首先，采用 emotion2vec_plus_large 这一先进的声学语音情绪识别模型，通过后处理的 Russell 环面投影方法，从纯声学信号中提取连续的唤醒度（Arousal）和效价（Valence）数值。这种方法代表了传统情感计算的最高水平，但其局限在于完全剥离了文本语义。其次，引入 Gemini 2.5 Flash 大语言模型，采用开放式的上下文感知方式，同时处理完整的演讲音频及其转录文本。这种多模态输入允许模型结合语音语调与语言内容，进行更深层次的情感推断。最后，作为对比基准，使用 TRUST-Pathos 评分，这是由三个倡导者大语言模型组成的监督集成系统生成的评分。

这种设计确保了评估标准的多样性和鲁棒性，避免了单一模型可能带来的偏差。通过这种多管齐下的技术架构，研究能够细致地拆解声学特征与语义信息在情感识别中的各自贡献，从而揭示不同技术路线的本质差异。实验设置以德国联邦议院议员 Felix Banaszak 的一次完整演讲为案例，该演讲被细分为 51 个片段，总时长 245 秒，具有高度的政治语境真实性。研究通过计算 Spearman 等级相关系数来评估各模型输出与 TRUST-Pathos 基准的一致性。关键结果令人瞩目：Gemini 2.5 Flash 的 Valence 评分与 TRUST-Pathos 表现出极强的正相关性（rho = +0.664, p < 0.001），证明结合文本与音频的大语言模型能精准捕捉政治演讲中的情感诉求。相反，emotion2vec 的 Valence 评分与基准几乎无相关性（rho = +0.097, p = 0.499），表明纯声学特征在复杂语义情感识别上的失效。

此外，研究还对柏林情感语音数据库（EMO-DB）进行了系统性质量评估，发现标准声学基准语料库存在严重的表演性质、文化偏见及类别不兼容问题，这解释了为何传统模型在真实政治场景下表现不佳。这些发现不仅验证了新方法的有效性，也指出了现有基准数据集的局限性。这项研究对开源社区、工业落地及后续研究具有深远的意义。首先，它挑战了当前情感计算领域过度依赖声学特征的范式，证明了在政治、法律等高语境领域，语义理解的重要性远超声学线索。对于工业界而言，这意味着开发下一代情感分析工具时，必须整合大语言模型的语义推理能力，而非仅依赖声学传感器数据。其次，研究对 EMO-DB 等基准数据集的批判性评估，呼吁社区构建更贴近真实世界、更具文化多样性的多模态数据集，这将推动情感计算研究向更公平、更实用的方向发展。最后，研究提出的多模态分析框架为未来结合面部表情和视线追踪的视频分析奠定了基础，预示着多模态情感分析将在政治监控、舆情分析及人机交互等领域发挥更大的作用，促进人工智能在社会科学研究中的深度应用。