[发明专利]光场图像多倍率空间超分辨方法及装置

权利要求书

1.一种光场图像多倍率空间超分辨方法，其特征在于，包括以下步骤：

S1，使用多种倍率的训练数据，训练基于EDSR结构的单图超分辨网络；

S2，使用训练好的单图超分辨网络模型，对低空间分辨率光场图像的所有视角图像进行倍率为m的单图超分辨；

S3，从单图超分辨结果中提取修复前的极平面图像，构成极平面图像立方体；

S4，构建基于注意力残差结构的U型极平面图像立方体多倍率修复网络；

S5，训练极平面图像立方体多倍率修复网络，使用训练好的网络模型修复极平面图像立方体的信息，获得恢复了空间目标在视角维度的几何连续性的极平面图像立方体；

S6，将恢复后的极平面图像立方体重建为倍率为m的光场图像空间超分辨结果；

在步骤S2中，对低空间分辨率光场图像L(U，V，S，T)中S×T幅分辨率为U×V的视角图像I_j^LR使用预先训练好的单图超分辨网络对其空间维度进行倍率为m的单图超分辨，获得S×T幅分辨率为mU×mV的视角图像其中，j＝1，2，…，S×T；从视角图像中提取空间目标在视角维度的几何连续性待修复的极平面图像立方体作为极平面图像立方体多倍率修复网络的输入；其中，k＝1，2，…，U+V；

在步骤S3中，极平面图像立方体为从四维光场图像中提取的三维数据，当保持空间维度u或v不变的时候，可以分别提取出u个极平面图像立方体S(v，t，s)和v个极平面图像立方体S(u，s，t)；

在步骤S4中，U型极平面图像立方体多倍率修复网络包括：特征提取部分和特征重建部分；特征提取部分包括：卷积层模块和多个基于注意力残差结构的特征提取模块；特征提取部分中的卷积层模块和特征重建部分中的卷积层模块设置为相同的模块；特征重建部分包括：卷积层模块和多个基于残差结构的特征重建模块；其中，采用包含通道注意力机制的注意力残差结构RCBA构建特征提取模块，同时，去除通用的RCBA中的均值池化层，构建新的mRCBA，来保留极平面图像立方体每个通道的空间维度信息；位置对称的特征提取模块与特征重建模块之间使用跳跃连接来彼此相连，网络在每一级的特征重建过程中，融合位于同一层的特征提取模块提取到的特征与低一层的特征重建模块重建的特征；

在步骤S5中，将光场数据集L^HR裁剪至统一尺寸，提取极平面图像立方体S_k^HR作为网络的高分辨率真值数据，其中，k＝1，2，…，U+V，对L^HR进行多种倍率的双线性插值下采样，再通过单图超分辨网络对每幅视角图像进行上采样得到尺寸恢复为原始尺寸的提取极平面图像立方体作为网络的低分辨率真值数据，网络分别使用不同倍率混合的与组成的训练对进行训练。

2.根据权利要求1所述的光场图像多倍率空间超分辨方法，其特征在于，在步骤S5中，通过Pytorch框架构建并训练极平面图像立方体多倍率修复网络模型。

3.根据权利要求2所述的光场图像多倍率空间超分辨方法，其特征在于，网络模型的损失函数表达式为：

其中P为训练数据量，为极平面图像立方体真值，为从经过EDSR网络处理的低空间分辨光场图像中提取的极平面图像立方体，ω代表网络权重信息，λ为权重衰减系数。

4.根据权利要求1所述的光场图像多倍率空间超分辨方法，其特征在于，在步骤S6中，通过PSNR和SSIM评价指标对光场图像空间超分辨结果进行定量评价。

5.根据权利要求4所述的光场图像多倍率空间超分辨方法，其特征在于，PSNR的评价指标公式为：

其中，X、Y分别为失真图像和目标图像。

6.根据权利要求4所述的光场图像多倍率空间超分辨方法，其特征在于，SSIM的评价指标公式为：

其中，u_X，u_Y表示图像X、Y的均值，σ_X，σ_Y，σ_XY表示图像X、Y的标准差和标准差，C1，C2，C3为预设常数。

7.一种光场图像多倍率空间超分辨装置，其特征在于，采用了根据权利要求1-6中任一项所述的光场图像多倍率空间超分辨方法。