本技术涉及一种基于多频跳跃Mamba网络的高效全色锐化系统及其方法,属于图像处理及遥感技术领域。该基于多频跳跃Mamba网络的高效全色锐化系统,包括图像预处理模块、自适应性Mamba模块、跨域Mamba模块、多尺度融合模块和输出模块;自适应性Mamba模块用于将调整分辨率后的低分辨率多光谱图像与高分辨率全色图像,分别提取不同尺度下的图像频率特征,获取空间与光谱信息;跨域Mamba模块用于将自适应性Mamba模块提取得到不同尺度下的图像频率特征实现跨域Mamba模块空间与光谱特征融合,将全色图像中的高频细节与多光谱图像中的光谱信息进行整合;多尺度融合模块用于将跨域Mamba模块整合后的多尺度特征图像进一步整合。本发明能够更高效地提取空间和光谱特征,并在保持光谱一致性的前提下增强图像的空间细节表现。
背景技术
现有的遥感影像技术在获取高空间分辨率和高光谱分辨率图像时,通常存在难以兼得的局限性。全色图像虽然具有较高的空间分辨率,但缺乏丰富的光谱信息;而多光谱图像则包含丰富的光谱信息,但其空间分辨率较低。为了同时提升光谱和空间分辨率,图像融合技术被广泛应用。现有的图像融合技术主要包括基于多分辨率分析、模型优化和成分替换的方法。
基于多分辨率分析的方法通过提取全色图像中的高频空间细节,并与多光谱图像的光谱信息相融合,提升了空间分辨率。模型优化方法将图像融合问题作为数学优化任务进行求解,通过先验信息提升融合精度。成分替换方法则通过构建光谱和空间特征的替换模型,实现特征的最优融合。然而,传统方法在处理复杂图像结构、全局信息建模、光谱与空间特征融合等方面仍存在一定的不足。近年来,卷积神经网络(CNN)在图像融合任务中得到了广泛应用,其具备强大的非线性拟合能力,可以有效提升融合效果。然而,CNN的局部感受野限制了其全局信息的建模能力。此外,基于Transformer的模型虽然增强了全局建模能力,但计算复杂度较高,难以处理大规模遥感影像。
因此,本发明提出了一种结合自适应Mamba模块(AMM)与跨域Mamba模块(CDM)的多频率跳跃Mamba网络系统,在不显著增加计算复杂度的前提下,实现了更高效的全色图像与多光谱图像的融合。
实现思路