Symbal：利用兩階段基礎模型檢測多模態生成Caption中的系統性錯位

多模態大型語言模型（MLLMs）在生成圖像描述時，常因特定視覺特徵引發重複性錯誤，導致圖文對出現系統性錯位。本文提出Symbal，一種無需訪問底層MLLM即可自動檢測此類錯誤的框架。Symbal採用基於現成基礎模型的结构化兩階段設置，能精準識別並自然語言總結錯位模式。為此，作者構建了包含170萬圖文對、420個數據集的SymbalBench基準，涵蓋自然與醫療領域。實驗顯示，Symbal在基準上正確識別率達63.8%，較基線提升近4倍。在真實世界評估中，Symbal成功揭示了四種MLLM生成的Caption中的系統性錯誤，並證明其作為審計工具的有效性，為多模態數據質量控制提供了新範式。