本技术公开了基于局部神经几何学习的光场空‑角连续域超分辨率方法,属于深度学习与计算机视觉领域,包括S1、获取光场极几何图像,并构建神经网络模型;S2、将光场图像的子孔径图像阵列送入空‑角感知几何编码模块,得到空‑角感知的潜在几何编码;S3、将空‑角感知的潜在几何编码送入局部神经几何学习模块,得到空‑角连续域潜在几何编码;S4、将空‑角连续域潜在几何编码送入扩展渲染模块,得到光场图像;S5、设置损失函数;S6、利用神经网络模型,进行光场‑空角连续域超分辨率任务测试;本发明提供的基于局部神经几何学习的光场空‑角连续域超分辨率方法,可实现光场图像空间维度和角度维度同时且任意尺度的超分辨率。
背景技术
基于微透镜阵列的光场相机通过在图像传感器和主镜头之间插入微透镜阵列(MLA)来记录入射光线的角度和光辐射信息,从而在光线空间和角度方面记录了场景的三维几何信息。但受图像传感器成像分辨率的限制,光场成像过程存在空间分辨率和角度分辨率的权衡,导致光场图像的空间和角度分辨率都难以满足实际应用需求。因此,利用光场图像中稀疏且低分辨率的子孔径图像阵列,重建出致密且高分辨率的子孔径图像阵列,为实际光场应用提供更多视角下的高分辨率图像,即实现光场图像的空间和角度超分辨率重建已成为目前光场成像领域的重要研究任务。现有光场图像超分辨率重建方法存在两个主要局限:(1)传统的光场图像超分辨率重建方法基于光场成像几何模型,其性能依赖于相机内部参数和场景深度信息的精确估计,在实际应用中焦距等相机内部参数会不断改变,并且场景深度难以准确获得;(2)现有光场图像超分辨率重建方法只能在空间或角度的单一维度上进行超分辨率重建,无法实现空间和角度的同时超分辨率重建,并且只能将光场图像超分辨率到某个固定尺度,比如在空间维度上获得二倍或四倍分辨率的图像,或在角度维度上获得7×7或9×9的子孔径图像阵列,无法在空间和角度连续域上实现任意分辨率的重建。
实现思路