[发明专利]一种光场图像角度重建方法

权利要求书

1.一种光场图像角度重建方法，包括以下步骤：

(1)将低角度分辨率光场子孔径图像阵列从RGB空间转换到YUV空间，并提取所述低角度分辨率光场子孔径图像阵列的Y通道信息；

(2)将获取的所述低角度分辨率光场子孔径图像阵列Y通道信息送入到特征融合重建网络，所述特征融合重建网络共包含8层，分别为RF_1，LeakyReLU，RF_2，LeakyReLU，RF_3，LeakyReLU，RF_4，LeakyReLU，RF_1，RF_2，RF_3，RF_4卷积大小分别为2×1×1，2×3×3，3×3×3，3×3×3，步长分别为2×1×1，2×1×1，1×1×1，1×1×1，填充值分别为0，0×1×1，1，1；经过特征提取的高维度特征向量的维度为1×49×1×96×96；

(3)将步骤(2)获得的所述高维度特征向量送入到空间角度特征融合网络，所述空间角度特征融合网络包括两个模块，分别为特征提取模块以及空间角度融合网络模块；所述的特征提取模块包含2流，分别为AF_1，SF_1；其中AF_1所用卷积核大小为8×8，步长为0，填充值为0；SF_1所用卷积核大小为3×3，步长为1，填充值为0；所述空间角度融合网络分别提取AF_1输出的1×49×12×12特征向量的高维角度特征向量以及SF_1输出的1×49×96×96特征向量的高维空间特征向量，将所述高维角度特征向量进行双线性上采样，获得与所述高维空间特征向量相同的维度，最后将所述高维空间特征向量与高维角度特征向量相加得到相加后的高维特征向量，获得融合后的高角度分辨率光场子孔径图像阵列Y通道信息；

(4)将步骤(3)获得的融合后的高角度分辨率光场子孔径图像阵列Y通道信息送入到细节融合修复网络，所述细节融合修复网络共包含6层，分别为MF_1，LeakyReLU，MF_2，LeakyReLU，MF_3，LeakyReLU，其中，MF_1，MF_2，MF_3所用卷积核大小分别为5×3×3，4×3×3，3×3×3，步长分别为4×1×1，4×1×1，3×1×1，填充值为0×1×1，获得细的高角度分辨率光场子孔径图像阵列Y通道信息；

(5)将步骤(3)获得的融合后的高角度分辨率光场子孔径图像阵列Y通道信息与步骤(4)获得的细的高角度分辨率光场子孔径图像阵列Y通道信息相加获得最终高角度分辨率光场子孔径图像阵列；并对低角度分辨率光场子孔径图像阵列的U和V通道信息进行双线性上采样处理，获得最终高角度分辨率光场子孔径图像阵列的U和V通道信息；

(6)将所述最终高角度分辨率光场子孔径图像阵列Y通道信息与最终高角度分辨率光场子孔径图像阵列U和V通道信息进行合并，并将合并后的数据转化到RGB空间，获得最终高角度分辨率光场子孔径图像阵列。

2.如权利要求1所述的光场图像角度重建方法，其特征在于：步骤(1)具体计算过程如下：

从光场图像中提取低角度分辨率光场子孔径阵列图像I，其维度为3×m×n×w×h，其中m×n为低角度分辨率光场子孔径阵列图像I中子孔径图像的角度分辨率，w×h为低角度分辨率光场子孔径阵列图像I中单个子孔径图像的空间分辨率，3为RGB三个通道；首先将所述的低角度分辨率光场子孔径阵列图像I从RGB空间转换到YUV空间，然后提取所述YUV空间的Y通道信息I_Y,其维度为1×m×n×w×h。

3.如权利要求1所述的光场图像角度重建方法，其特征在于：步骤(2)具体计算过程如下：

首先对步骤(1)获取的低角度分辨率光场子孔径阵列图像Y通道信息I_Y进行降低维度处理，将所述低角度分辨率光场子孔径阵列图像Y通道信息I_Y的两个角度维度m与n进行合并，获得四维低角度分辨率光场子孔径阵列图像Γ，其维度为1×(m×n)×w×h，其中m×n为低角度分辨率光场子孔径阵列图像I中子孔径图像的角度分辨率，w×h为低角度分辨率光场子孔径阵列图像I中单个子孔径图像的空间分辨率，然后将所述的四维低角度分辨率光场子孔径阵列图像Γ输入到特征融合重建网络。