本申请提供了一种基于可见光和红外特征自适应融合的目标检测方法,涉及目标检测技术领域,所述方法包括:对可见光特征图和红外特征图进行通道注意力处理、空间注意力处理,基于空间注意力处理结果得到第一融合特征图;基于空间注意力处理结果进行坐标注意力处理以及进行可见光特征权重和红外特征权重计算;基于坐标注意力处理结果和权重计算结果处理得到第二融合特征图;基于所述第二融合特征图处理得到第三融合特征图;基于所述第一融合特征图、所述第二融合特征图和所述第三融合特征图进行多尺度特征融合;基于多尺度特征融合结果进行目标检测。相较于现有的单模态与多模态目标检测算法,本申请提供的方法能够获得更高的检测精度。
背景技术
随着人工智能的发展和硬件水平的提升,基于深度学习的目标检测技术成为了遥感领域的焦点。然而,目前大多数目标检测方法主要基于可见光图像,其利用目标反射的环境光源成像,虽然其能够充分展现目标的细节与纹理特征,但在目标模糊、遮挡、光照过强或过暗等情况下,仅靠可见光传感器难以充分获取目标信息,从而影响目标检测效果。相比之下,红外传感器具有抗环境干扰能力强、对光照不敏感、能够反映目标温度等优点,能够弥补可见光成像的不足,因此将红外特征融入基于可见光的目标检测,研究多传感器信息协同作用的目标检测算法,不仅能提升目标检测准确性和鲁棒性,还能更好地适用于实际场景。然而,红外影像自身也存在分辨率较低、目标细节不清晰等缺点,在环境光丰富的条件下检测精度不如可见光影像。
因此,如何在根据可见光与红外模态的互补特性进行自适应融合,是当前多模态目标检测任务研究的热点和难点。
实现思路