MEOX：以290万参数重塑地球观测多模态融合效率

地球观测领域长期以来面临着传感器异构性和观测数据缺失的巨大挑战，传统的解决方案往往依赖于构建参数量庞大的深度学习架构来容纳这些复杂性，这不仅增加了计算负担，也限制了模型在资源受限环境下的部署能力。针对这一痛点，本研究提出了MEOX（Multimodal Earth Observation with eXperts），这是一种极具创新性的紧凑型多模态掩码自编码器。该模型的核心贡献在于它成功地在极低的参数预算下实现了高效的跨模态表征学习，其编码器仅包含293.9万个参数，总参数量仅为311.5万。MEOX通过引入传感器特定的适配器、显式的有效性信号以及共享的稀疏专家块，巧妙地保留了模态依赖的处理过程，随后才进行学习的补丁级融合。这种设计不仅有效应对了异构传感器带来的数据差异，还通过结构化的方式处理了缺失观测值，为地球观测数据的统一表征提供了一种轻量级且高效的解决方案，显著降低了模型复杂度与性能之间的权衡压力。在技术方法层面，MEOX采用了精妙的网络结构和训练策略以确保高效的信息融合与特征提取。模型首先利用传感器特定的适配器处理输入数据，并结合显式的有效性信号来标识数据的可信度，随后通过共享的稀疏专家块进行初步的模态处理，这一过程在补丁级融合之前严格保留了模态间的独立性。

融合后的序列由四个元数据令牌伴随，并通过十四个额外的编码器块进行深层处理。为了进一步约束参数增长并提升泛化能力，模型采用了共享专家投影与私有低秩残差相结合的策略，这种设计既保证了知识的共享，又保留了特定模态的细微特征。此外，旋转位置编码（Rotary Attention）的引入使得模型能够支持下游空间网格与预训练阶段不同的空间布局，极大地增强了模型的灵活性和适应性。这种精细化的架构设计确保了模型在处理复杂地球观测数据时，既能捕捉全局语义，又能保留局部细节。实验设置与关键结果充分验证了MEOX的卓越性能。模型在包含122.8万个MMEarth64样本的大规模数据集上进行了预训练，采用了模态平衡的掩码重建和结构化传感器丢弃策略，以增强模型的鲁棒性。在冻结迁移评估中，MEOX在六个GEO-Bench任务上进行了测试，分别在64像素和224像素分辨率下表现出色。

具体而言，在64像素分辨率下，模型在腰果分割任务上达到了64.42%的均值交并比；在224像素分辨率下，EuroSAT分类任务的平均准确率达到90.56%，这两个指标均超越了先前报告的CSMoE模型结果。此外，在BigEarthNet数据集上的微调实验显示，模型达到了72.95%的微平均精度，进一步证明了其强大的泛化能力。路由诊断分析还揭示了专家参与、空间依赖性、模态关联和功能贡献等关键机制，为理解模型内部运作提供了深入洞察。MEOX的提出对地球观测领域的开源社区、工业落地及后续研究具有深远的行业意义与潜在影响。首先，其紧凑的参数规模使得模型能够在边缘设备和资源受限的环境中高效部署，极大地推动了地球观测技术在实时监测和快速响应场景中的工业落地。其次，MEOX所采用的多模态混合专家架构为处理异构传感器数据提供了新的范式，证明了通过精巧的架构设计而非单纯增加参数规模也能实现高性能表征学习，这为后续研究提供了重要的参考方向。此外，模型在元数据利用和跨传感器对齐方面的优异表现，强调了多源数据融合在提升任务性能中的关键作用，鼓励社区进一步探索元数据与视觉特征的深度融合机制。总体而言，MEOX不仅是一个高性能的模型，更是一个推动地球观测领域向轻量化、高效化和智能化发展的有力工具，其开源特性也将促进相关技术的广泛传播与创新。