本技术公开了一种基于频率分离的渐进式特征提取的立体图像超分辨率方法,具体涉及图像超分辨率技术领域。本发明所提出的方法包括以下步骤:对低分辨率图像进行预处理;将输入图像送入双频率特征提取模块,通过频率感知注意力构建单视图图像的结构性和纹理性依赖关系;通过渐进式立体特征融合模块,整合不同层次的相关信息,并进一步指导左右视图之间的低频和高频信息的融合;最后,将左右视图不同层级的特征级联后送入重建部分,得到最终的超分辨率图像,并利用频域损失平衡高频和低频信息。本发明在保证全局一致性的基础上有有效地提高了立体超分辨率图像的质量。
背景技术
立体显示设备的广泛应用使得立体图像在我们的日常生活中越来越普遍。随着立体图像在3D视频、增强现实、虚拟现实等实践方面的应用越来越多,对高分辨率的立体图像的需求也愈发强烈。另外,作为计算机视觉领域的一项基本研究,获得更高质量的立体图像对也将促进深度估计、立体匹配、三维重建、立体物体分割、3D检测等方面的发展。然而,立体图像的分辨率通常受采集设备的限制,退化后的立体图像对将严重影响人的视觉体验和后续应用。因此,设计一种有效的立体图像超分辨率算法,从低分辨率立体图像对中恢复出高分辨率的立体图像对,是一个既有实践价值又有学术价值的挑战。
超分辨率问题是将输入的低分辨率图像重建为一幅或多幅高分辨率图像的过程。由于超分辨率图像解的不确定性,该类问题本质上是高度不适定的问题,即不存在唯一解。在这样一个具有挑战性的背景下,立体图像超分辨率作为一个新兴的研究领域,其基础研究方法仍然在很大程度上依赖于单图超分辨率和多图超分辨率的技术。
单图超分辨率关注的主要是图像内的信息利用和重建,一般通过基于样例和基于深度学习的方法重建图像,引入卷积神经网络和注意力机制加强对整体结构和关键细节的恢复。对于双目网络,视图间的信息相关和互补更加重要,在此前提下,多图像的辅助信息能够为双目超分设计提供更多的参考。多图超分辨率通过多幅图像重建单幅,根据图像获取方式的不同,可分为视频超分辨率、光场图像超分辨率以及立体图像超分辨率。多图超分本质上是利用图像间的块重复性和像素偏移来捕获其相关性,但是视频和光流超分无法获取亚像素之间的相关性,对于分辨率的提高是不利的,同时多帧图像的处理是对时间维度进行扩充,主要研究运动补偿,而双目的研究重点是视差补偿,像素偏移方式的不同也决定了校正方式的不同。现有的立体超分辨率方式主要通过扩展视差注意力模块来应对视差变化,实现跨视图交互。另外还有基于立体匹配视差估计的立体超分辨率方法,对视差估计和超分辨率进行联合优化,建立左右视图信息关联。然而,目前的立体超分辨率方法并未重视图像的不同空间频率的特征在图像恢复过程中的重要性,导致对视图内空间和频率信息的利用不足。且在视图间的立体交互不足,只在视图间单次或者简单多次交互,未能有效利用另一视图的相关信息来恢复本视图,忽视了立体图像对间相关性的潜力。
基于上述内容,本发明提出了一种基于频率分离的渐进式特征提取的立体图像超分辨率方法。
实现思路