SAM 3 遥感零样本评估：跨模态干扰揭示几何与语义的错位困境

随着大规模基础模型如Segment Anything Model 3 (SAM 3) 的部署，计算机视觉领域正朝着开放词汇、免训练的方向转型。然而，这些模型在地球观测影像中处理复杂俯视几何结构的泛化能力尚未被充分量化。遥感图像具有独特的视角和几何特征，与常规自然图像存在显著差异，这导致基础模型在直接应用时可能面临严峻挑战。本研究旨在解决这一关键问题，通过全面的实证评估，深入探究SAM 3在遥感领域的实际表现。核心贡献在于揭示了SAM 3在零样本和单样本约束下的性能边界，并提出了针对多模态解码器对齐机制的诊断方法。研究不仅评估了模型在场景分类、目标检测和实例分割任务中的表现，还通过结构适配技术，将SAM 3的解耦二进制存在头转化为独立的零样本分类器，为理解基础模型在垂直领域的适用性提供了新的视角。这一工作填补了基础模型在遥感特定领域泛化能力评估的空白，为后续研究奠定了重要基础。在技术方法上，研究对SAM 3进行了细致的结构适配与实验设计。

首先，作者将SAM 3原本用于分割的二进制存在头（binary presence head）解耦并重新用作独立的零样本分类器，这一创新使得模型能够在不进行额外训练的情况下执行场景分类任务。其次，为了深入理解多模态提示的作用机制，研究系统性地隔离了文本和视觉提示模态，设计了五种不同的配置组合进行对比实验。这种设计允许研究者精确诊断文本提示与视觉提示在多模态解码器中的交互效果。研究发现，视觉提示能够有效引导解码器对齐遥感图像中复杂的俯视几何结构，而文本提示则往往引入与地面视角相关的语义偏差。这种偏差在坐标回归任务中表现为显著的负向影响，即文本提示不仅未能增强分割精度，反而干扰了模型对物体位置的准确判断。通过这种细致的模态隔离分析，研究揭示了SAM 3在处理多模态输入时的内在对齐机制及其局限性。实验设置方面，研究在严格的零样本和单样本约束下，对SAM 3进行了多任务评估，涵盖遥感场景分类、目标检测和实例分割。为了在不进行资源密集型训练的情况下评估模型能力，研究提出了一种针对广义零样本任务（Generalized Zero-Shot）的免训练代理评估协议。

这一协议特别适用于场景分类和实例分割任务，能够高效衡量模型在未见过类别上的泛化能力。关键结果显示，SAM 3在分割任务中实现了较高的调和均值（Harmonic Mean）分数，表明其在避免过拟合方面优于传统的领域适配模型。然而，消融实验也揭示了模型的固有缺陷：受限于亚像素分辨率，模型在处理微小或密集目标时表现不佳；同时，存在明显的 overhead 语义盲点，导致对某些特定地物类型的识别失败。这些发现不仅验证了SAM 3在免训练场景下的潜力，也明确了其在遥感应用中的性能瓶颈，为后续优化提供了明确方向。从行业意义来看，本研究对开源社区、工业落地及后续研究具有深远影响。对于开源社区，研究提出的免训练代理评估协议为其他基础模型在垂直领域的快速评估提供了标准化方法，降低了研究门槛。在工业落地方面，尽管SAM 3展现了强大的零样本能力，但其对文本提示的敏感性和分辨率限制表明，直接部署基础模型可能无法满足高精度遥感应用的需求。因此，研究强调了对多模态解码器进行参数高效微调（Parameter-Efficient Fine-tuning）的必要性，这为工业界在保持模型灵活性的同时提升特定领域性能提供了技术路径。对于后续研究，本研究揭示的跨模态干扰问题和语义盲点机制，为开发更鲁棒的多模态对齐算法指明了方向，推动了基础模型向更专业化、更精准的方向发展。