本技术公开了一种基于空间‑光谱Token学习网络的全色锐化方法(SSTL),本发明针对全色锐化任务提出了一种可以重构和融合空间、光谱特征的神经网络框架,即空间‑光谱Token学习网络,其包含三个新颖模块。傅立叶引导的Token重建模块通过应用复杂的特征交互规则,在从全色图像和低分辨率多光谱图像中提取的傅立叶域Token的交互特征,实现光谱特性的重建;Token选择模块强制空间‑光谱Token学习网络从全色图像的最相关空间区域中重建高分辨率多光谱图像的空间特性;自适应Token交互模块在光谱特征的通道交互过程中,使用从Token选择模块学习到的权重,从而实现空间‑光谱特性的无缝集成。此外,在公开数据集上的实验证实了本发明方法的有效性。
背景技术
随着地球观测和监测需求的不断增加,现有的光学卫星能够同时从同一场景记录低分辨率多光谱(LR-MS)图像和对应的高分辨率全色(PAN)图像。由于现有卫星传感器的物理限制,所记录的LR-MS图像通常包含丰富的光谱特征但空间特征相对稀疏,而它们对应的PAN图像则包含丰富的空间特征但光谱特征稀疏。然而,在实际应用中,如在农林业、气象、生态环境评估、城市规划与建设、军事侦察与监测等领域,具有多个光谱波段且空间分辨率较高的遥感图像,即高分辨率多光谱(HR-MS)图像发挥着更为重要的作用。
为了解决这一问题,研究人员提出了全色锐化方法。它通过融合PAN和LR-MS图像中的空间、光谱特征来获得HR-MS图像。
早期的全色锐化方法主要包括组件替换(CS)方法、多分辨率分析(MRA)方法和基于变分优化(VO)的方法。具体的,CS方法利用PAN图像中的空间细节来替换LR-MS图像中相应的细节,尽管这个方法简单且保真度高,但在融合过程中往往会引入光谱畸变;MRA方法将PAN图像中的空间结构注入到LR-MS图像中,更好地保留了光谱特性,但会造成空间畸变。基于VO的方法根据物理先验构建正则化函数来优化模型,虽然取得了更好的结果,但优化效果有限。
近年来,基于卷积神经网络的全色锐化方法因其在学习特定任务表示方面的强大能力而得到了广泛应用。这些方法主要采用两种融合策略来利用PAN图像和LR-MS图像的空间-光谱特性:图像级融合和特征级融合。图像级融合策略在将特征输入网络之前,直接将LR-MS图像和PAN图像沿通道维度拼接,这可能导致模型在特征提取过程中混淆光谱和空间信息,从而使其失真。同时,特征级融合策略通常利用双流网络分别从PAN图像中提取空间特征,从LR-MS图像中提取光谱特征,然后在潜在特征空间中将这些特征进行组合,然而,该策略在特征提取阶段缺乏PAN图像和LR-MS图像之间的模态交互,因此所学模型无法有效利用LR-MS图像和PAN图像之间的跨特征空间依赖性。
与CNN不同,Transformer风格的网络能够基于其多头注意力机制有效地捕获输入数据中不同顺序Token之间的长距离依赖性。因此,许多最近的研究将Transformer扩展到了全色锐化领域。然而,这些基于Transformer的方法仍然未能从空间-光谱特性的角度考虑PAN、LR-MS和目标HR-MS图像之间的关系。
实现思路