Light-MER：亞十億參數多模態情感識別模型能否超越大模型？

本文針對多模態大型語言模型在情感識別任務中參數量龐大、推理效率低下的痛點，提出了一種名為Light-MER的輕量級框架。研究挑戰了「模型越大效果越好」的假設，透過知識蒸餾技術，將大型教師模型的知識遷移至少十億參數的學生模型中。該方法引入了結合切片Wasserstein距離與隱藏狀態對齊的最優傳輸損失函數，以及基於GRPO的多獎勵優化策略，以在識別性能與計算效率之間取得平衡。在九個基準數據集上的實驗表明，Light-MER不僅達到了最先進的績效水平，還顯著提升了推理速度，證明了小型多模態情感語言模型在資源受限平台上的巨大潛力與可行性。