本技术涉及一种轻量级图像超分辨率重建方法,包括利用卷积网络提取图像浅层特征,并采用局部聚类技术将相邻像素归为超像素,实现高频增强。
背景技术
图像超分辨率(Super-Resolution,SR)旨在从其退化的低分辨率(Low-Resolution,LR)图像中重建出高分辨率(High-Resolution,HR)图像,该方法能够使生成图像具有较高的视觉质量和较好的纹理细节。超分辨率对于许多设备,如高清电视、电脑显示器、照相机、智能手机、平板电脑,都是至关重要的。此外,它还被应用于各种计算机视觉领域,如目标检测、医学成像、安全和监视成像、人脸识别、遥感图像等。
SR重建算法主要包括基于插值、基于重建和基于学习的方法。近年来,由于卷积神经网络具有强大的特征表达能力,基于深度学习的方法在SR任务中被广泛使用。Dong等人首次将卷积神经网络(Convolutional Neural Network,CNN)应用于单幅图像超分辨率重建领域,提出SRCNN网络。但由于SRCNN结构简单,重建性能受到一定的限制,Kim等人提出深层超分辨率重建网络(Super-resolutionusingVeryDeepConvolution Networks,VDSR),通过残差学习的方式增加网络的层数,解决了随着深度增加而导致的梯度消失现象。随后,为了降低模型复杂度,Ahn等人引入级联残差网络(Cascadingresidualnetwork,CARN),通过使用级联连接操作在残差网络上实现更高效的超分辨率重建。
注意力机制根据输入特征计算特征向量的不同权重,表示特征的不同重要程度,已被广泛应用于图像分割、目标检测等计算机视觉任务。Hu等人提出了压缩和激发(Squeeze-and-Excitation,SE)模块来学习通道之间的关系,根据通道所包含的信息量为通道分配不同的权重。随后在CBAM中,将通道注意力和空间注意力进行结合实现自适应特征细化。Guo等人提出大核卷积注意力机制(LargeKernelAttention,LKA),利用大尺寸卷积核更好地表示图像的全局结构特征并增大感受野。同时在图像超分辨率重建这类低级视觉任务中注意力机制也被广泛使用。Zhang等人提出残差通道注意力模块,将通道注意力集成到残差模块中,充分利用特征之间的依赖性,取得了显著的性能提升。然而,这些工作主要集中在设计网络结构以获取全局信息,而忽略了纳入高频先验的重要性。且注意力机制具有较高的计算复杂度和内存消耗,需要将大图像分割成小块进行单独处理,而基于固定形状划分图像块会导致连续结构的分裂,导致重建过程中产生伪影。
实现思路