本申请提出了一种基于卷积神经网络的轻量化图像超分辨率重建方法和装置,包括:获取待重建图像;将待重建图像输入到预训练好的超分生成网络,输出得到对应的超分辨率图像;超分生成网络包括多个卷积层、DTS层、Resize层和输出层,多个卷积层用于对待重建图像进行特征提取,得到特征图像的深度信息;DTS层用于通过通道转平面操作将特征图像的深度信息转换为平面信息,生成第一放大图像;Resize层使用最邻近插值得到,用于对待重建图像进行放大,生成第二放大图像;输出层用于对第一放大图像和第二放大图像进行融合相加,映射得到超分辨率图像。本申请的超分生成网络基于轻量化卷积神经网络搭建,既保证了图像的超分质量,同时降低了网络的参数量和复杂度。
背景技术
热成像对光照条件不敏感,因此在智能城市、森林防火、气体泄漏和农业生产等方面有着广泛的应用。然而,由于传感器的尺寸限制,在广泛应用热成像的无人机云台相机上,获取高分辨率的热红外图像非常困难。
目前,基于深度学习的图像超分辨率算法,可以有效通过低分辨率图像来重建高分辨率图像,提升图像质量。申请号为202311713718.0的中国专利公开了一种图像超分辨率增强方法及装置、训练方法、设备及介质,其应用的超分图像模型为对抗生成网络模型,包括第一生成器、第二生成器和判别器。其中第一生成器为超分生成网络,负责将低分辨率图像通过超分生成分支网络生成为高质量的高分辨率图像;第二生成器为退化参数生成网络,负责生成退化过程中所需要的控制参数,使高分辨率图像能够通过该退化流程将图像退化为与低分辨率图像质量相近的低分辨率图像;而判别器则用于负责判断图像是否为真实采集的低分辨率图像/高分辨率图像,还是超分生成/退化过程生成的图像数据,从而可使用高质量的高分辨率图像进行正向循环、待超分的低质量的低分辨率图像进行逆向循环来同步训练超分生成网络和退化参数生成网络。
上述现有技术方案中的超分图像模型能够适配不同场景类型图像自适应退化以提升超分增强质量,泛化能力好、模型移植效率高。然而,该方案中,超分图像模型需要使用高质量的高分辨率图像进行正向循环、待超分的低质量的低分辨率图像进行逆向循环来同步训练超分生成网络和退化参数生成网络,模型的复杂度高,参数量和计算量大,对于芯片/处理器的算力有着极大的要求,通常仅适用于固定设备端,而对于无人机应用领域,无人机云台相机通常只能搭载嵌入式设备,其搭载的芯片/处理器的算力较低,完全无法满足要求。
有鉴于此,提供一种在保证图像超分性能、运行速度提升的前提下,降低了模型参数量和复杂度,符合部署在移动端或嵌入式设备的要求的轻量化图像超分辨率重建方法,就显得尤为重要。
实现思路