本技术公开一种基于多尺度卷积傅里叶和双分支自注意力的高光谱图像分类方法,主要缓解现有技术中标记样本有限、特征提取不充分、计算复杂度较高的问题。其实现方案包括:获取高光谱数据集,并对其进行预处理后划分为训练样本集和测试样本集;构建包括多尺度卷积傅里叶特征提取模块、特征令牌化模块、双分支多尺度Transformer编码器模块和多层感知机分类头的高光谱图像分类网络模型;利用训练样本集通过梯度下降法对分类网络模型进行迭代训练;将测试样本集输入到训练好的分类网络模型得到高光谱图像的分类结果。本发明能在训练样本有限的情况下有效提升高光谱图像的分类精度,减少模型的计算复杂度,可用于精准农业、矿产勘探和海洋监测的地物分类。
背景技术
高光谱图像是通过光学传感器对同一场景在不同的光谱波段下拍摄所得的一组高维数据。高光谱图像包含了丰富的地表信息,有效地反映了地球表面的特性,且高光谱图像具有高分辨率和图谱合一等特点,在很多领域都得到了广泛的应用。其中,高光谱图像分类任务是高光谱图像处理中的一项重要研究内容,旨在通过分析和处理高光谱图像中的光谱信息,识别和分类图像中的不同物体或地物类型。研究初期,许多机器学习方法被应用于高光谱图像分类任务中,如支持向量机、稀疏表示等,但在分类精度方面的表现并不理想。之后,随着深度学习的蓬勃发展,众多研究人员开始将各种基于深度学习的方法应用于高光谱图像分类领域,如堆叠自编码器、深度置信网络和卷积神经网络等,也取得了一定的成果。
Zhou等人在其发表的论文“A novel spatial-spectral pyramid network forhyperspectral image classification”(IEEE Transactions on Geoscience andRemote Sensing,2023)中提出了一种新的高光谱图像分类模型,称为光谱空间金字塔网络。该模型利用三维卷积和多尺度卷积相结合的方法提取了大量的不同的空间光谱特征,并且通过多尺度融合,丰富了单个特征图中包含的特征,提高了对高光谱图像空间光谱信息的敏感度,使其能够更好地学习空间光谱特征。但该方法是基于卷积神经网络进行分类,这种卷积神经网络的分类方法由于受限于卷积核的大小,忽略了高光谱图像的全局信息。因而该方法对高光谱图像全局空间光谱信息的提取并不充分,且训练时所需的训练样本数较多。
随着卷积神经网络深度的不断增加,可能会出现梯度消失和梯度爆炸等问题。因此,研究人员开始将注意力机制引入高光谱图像分类,通过注意力机制突出对分类结果贡献更大的波段和像素。尤其是近年来,基于Transformer的分类方法凭借其核心的自注意力机制,能够对像素间的全局关系进行建模,更好地捕获空间信息之间的相关性。
Roy等人在其发表的论文“Spectra-spatial morphological attentiontransformer for hyperspectral image classification”(IEEE Transactions onGeoscience and Remote Sensing,2023,61:1-15)中提出了一种新型的基于Transformer的方法。其结合光谱和空间形态卷积操作,增强结构和形状信息之间的相互作用。然而,该方法由于在使用自注意力机制对全局关系进行建模时,未能有效去除一些冗余信息,故导致模型的计算复杂度较高。
综上所述,现有的基于卷积神经网络与自注意力机制的高光谱图像分类方法虽然已经取得了一定的成果。但仍面临着标记样本有限、特征提取不充分、算法复杂度较高等问题,使得在训练样本有限的情况下模型的分类效果不理想。
实现思路