[发明专利]适应大视差范围的光场图像视角超分辨方法及装置

说明书

本发明公开了一种适应大视差范围的光场图像视角超分辨方法及装置，所述方法包括以下步骤：S1，使用双线性插值方法，在光场图像的已有视角图像之间插入新增的视角图像，将视角分辨率提升至原来的n倍；S2，从步骤S1中提取待修复的极平面图像，构成极平面图像立方体；S3，构建基于多尺度卷积层的嵌套连接结构的适应大视差范围的光场图像视角超分辨网络；S4，训练适应大视差范围的视角超分辨网络，使用训练好的网络模型修复极平面图像立方体的信息，获得优化的极平面图像立方体；S5，将优化的极平面图像立方体重建为倍率为n的光场图像视角超分辨结果。根据本发明的方法，可实现高质量的视角超分辨效果。

技术领域

本发明涉及图像处理技术领域，尤其是涉及一种适应大视差范围的光场图像视角超分辨方法及装置。

背景技术

光场成像技术可以通过一次拍照获得场景的多幅视角图像。相比于传统的成像技术，光场成像技术不仅能够在探测器上获取场景中目标的位置信息和光强信息，还能获得光线的角度信息。因此，光场相机在深度估计、捕获后重聚焦等任务中具有优势。光场相机由于探测器像元数目有限，空间分辨率与视角分辨率之间存在权衡，使得光场图像的视角分辨率较为有限，这是限制光场相机应用的一个重要因素。

通常采用图像超分辨技术提高光场图像的视角分辨率。光场图像的任意两幅视角图像之间都存在视差，不同光场数据集的视差不同。目前已有的光场图像视角超分辨算法对于具有较小视差的光场图像的处理能力较强，对于较大视差的光场图像的处理能力较弱。综上，现有技术存在改进空间。

发明内容

本发明旨在至少解决现有技术中存在的技术问题之一。为此，本发明的一个目的在于提出一种适应大视差范围的光场图像视角超分辨方法，所述适应大视差范围的光场图像视角超分辨方法，对具有不同大小视差的光场图像，以及不同基线的光场相机所拍摄的视差差异大的光场图像均可实现高质量的视角超分辨效果。

本发明还提出了一种采用了上述适应大视差范围的光场图像视角超分辨方法的装置。

根据本发明实施例的适应大视差范围的光场图像视角超分辨方法，包括以下步骤：

S1，使用双线性插值方法，在光场图像的已有视角图像之间插入新增的视角图像，将视角分辨率提升至原来的n倍；

S2，从步骤S1中提取待修复的极平面图像，构成极平面图像立方体；

S3，构建基于多尺度卷积层的嵌套连接结构的适应大视差范围的光场图像视角超分辨网络；

S4，训练适应大视差范围的视角超分辨网络，使用训练好的网络模型修复极平面图像立方体的信息，获得优化的极平面图像立方体；

S5，将优化的极平面图像立方体重建为倍率为n的光场图像视角超分辨结果。

根据本发明的适应大视差范围的光场图像视角超分辨方法，对具有不同大小视差的光场图像，以及不同基线的光场相机所拍摄的视差差异大的光场图像均可实现高质量的视角超分辨效果。

根据本发明一个实施例的适应大视差范围的光场图像视角超分辨方法，步骤S3包括：

S301，构建极平面图像立方体预处理部分；

S302，构建极平面图像立方体结构学习部分；

S303，通过所述嵌套连接结构对极平面图像立方体进行特征提取与重建；

S304，将所述嵌套连接结构的输出结果输入连续的三个卷积层，得到输出极平面图像立方体。

根据本发明一个实施例的适应大视差范围的光场图像视角超分辨方法，所述嵌套连接结构包括：特征提取模块、特征重建模块和特征链接模块。