本技术提出了一种创新的多模态遥感图像地物分类技术,该技术利用模态信息约束来优化分类过程。通过MDF解码器,该方法能够自适应地学习并融合模态共享与模态差异特征的权重,实现从多尺度角度对模态共享特征的自适应控制,以提高分类的准确性和效率。
背景技术
遥感图像地物分类是地球观测中的一项基本任务,其主要目标是将遥感图像中的每个像素分配给预定义的地物类别。该技术在城市规划、环境保护、精准农业等方面发挥了重要作用。光学图像通常包含丰富的光谱和纹理信息,但易受气候和光照条件的影响,难以准确分类地物。相比之下,合成孔径雷达(SAR)图像可以提供结构和散射特征,增强了对地物的特征多样性。最近,许多研究集中于使用光学和SAR数据进行多模态遥感图像地物分类,以克服性能瓶颈。
在多模态遥感图像地物分类中,整合每种模态的互补信息至关重要。其中,探索模态共享和模态专有信息之间的关系有助于整合模态的互补信息,从而实现全面的解译。在对地观测时,光学图像和SAR图像都同时包含模态共享信息和模态专有信息。其中,模态共享信息代表了两种模态的共同特征,有助于弥合它们之间的差异,如地物的形状和位置;模态专有信息代表每种模态中对于准确描述地物至关重要的独特属性,如光谱和散射特征。目前多模态遥感图像融合方法主要基于深度特征级融合,这些方法通常会对光学和SAR的特征采用如拼接、交叉注意力等融合算子,通过学习融合权重获得融合特征,从而间接调控模态共享和模态专有信息的贡献,并取得了较好的分类结果。
然而,在例如光学图像中的复杂地物分布或SAR图像中的斑点噪声等具有挑战性的场景中,这些现有多模态遥感图像融合方法的性能可能存在性能瓶颈。光学特征和SAR特征都同时包含模态共享和模态专有信息,现有方法直接学习光学和SAR特征的融合权重,难以平衡模态共享和模态专有信息的贡献,从而导致模态专有信息丢失。为了提升多模态遥感图像地物分类方法在复杂地物分布或噪声条件下等具有挑战性场景中的分类性能,需要解决上述关键问题。
实现思路