[发明专利]一种基于视角转换的双角度光场高分辨重构系统及方法

权利要求书

1.一种基于视角转换的双角度光场高分辨重构系统，其特征在于，包括：依次连接的光场图像重构模块和双视角融合高分辨率模块；

所述光场图像重构模块，用于将光场图像重构采用深度卷积神经网络重建为三维图像；

所述双视角融合高分辨率模块，用于将第一、第二视角三维图像融合为多通道三维图像信息并经高分辨率重建为高分辨率各向同性三维图像；

所述双视角融合高分辨率模块，包括基于深度神经网络的三维空间变换网络层、多融合网络层、以及高分辨率重建网络层；

所述三维空间变换网络层用于将第二视角的三维图像经过三维变换为获得与第一视角同向的视角变换三维图像；所述三维空间变换网络层通过卷积提取所述第二视角的三维图像的特征，进行三维空间仿射变换后通过逐元素相乘，获得所述与第一视角同向的视角变化三维图像；

所述多融合网络层用于将第一视角三维图像和第二视角的变换三维图像通过通道拓展融合为多通道三维图像；

所述高分辨率重建网络层，用于将所述多通道三维图像进行高分辨率三维重建，获得各向同性的高分辨率三维图像。

2.如权利要求1所述的基于视角转换的双角度光场高分辨重构系统，其特征在于，所述高分辨率重建网络层采用多尺度残差块的深度卷积神经网络进行高分辨三维图像重建。

3.如权利要求1或2所述的基于视角转换的双角度光场高分辨重构系统的训练方法，其特征在于，采用的以损失函数最小化为目标，对所述基于视角转换的双角度光场高分辨重构系统进行训练；分别对光场图像重构模块和双视角融合高分辨率模块进行训练或对所述基于视角转换的双角度光场高分辨重构系统进行端到端的训练。

4.如权利要求3所述的基于视角转换的双角度光场高分辨重构系统的训练方法，其特征在于，所述对光场图像重构模块和双视角融合高分辨率模块进行训练，具体包括以下步骤：

采用光场图像重构模块的损失函数loss1训练所述光场图像重构模块，所述损失函数loss1为绝对值误差、深层网络特征误差、结构系数误差以及使用多梯度掩膜的加权误差；

以及采用双视角融合高分辨率模块的损失函数loss2训练所述双视角融合高分辨率模块，所述损失函数loss2为基于多尺度结构相似度以及pixel-wise的均方差的加权损失函数。

5.如权利要求4所述的基于视角转换的双角度光场高分辨重构系统的训练方法，其特征在于，对所述基于视角转换的双角度光场高分辨重构系统进行端到端的训练，具体为：对所述基于视角转换的双角度光场高分辨重构系统以损失函数loss1和损失函数loss2的加权和作为所述基于视角转换的双角度光场高分辨重构系统的损失函数loss0，训练基于视角转换的双角度光场高分辨重构系统；可具体表示为：

loss0＝t·loss1+(1-t)·loss2

其中t是两个损失函数loss1和损失函数loss2的求和的加权系数。

6.如权利要求4或5所述的基于视角转换的双角度光场高分辨重构系统的训练方法，其特征在于，所述损失函数loss1为绝对值误差、深层网络特征误差、结构系数误差以及使用多梯度掩膜的加权误差；具体表示为：

其中，N为图像的体素数量，GT与Pred分别指样本真实强度空间分布以及网络输出预测值，|GT-Pred|₁为其一范数，Mask是为乘积系数，用于表征图像不同强度梯度区域；GT_feature与Pred_feature分别指通过所述深度卷积神经网络提取的深层特征，|GT_feature-Pred_feature|₂为其二范数，α、β、σ为预设的加权系数；

所述损失函数loss2可具体表示为：

其中N为图像的体素数量，GT与Pred分别指样本真实强度空间分布以及网络输出预测值，|GT-Pred|₁为其一范数，SSIM_Pred指的是图像的结构化系数，ξ和γ为预设的加权系数。