[发明专利]基于方向和尺度自适应卷积神经网络的光场深度估计方法

权利要求书

1.基于方向和尺度自适应卷积神经网络的光场深度估计方法，其特征在于包括如下步骤：

步骤1.准备光场数据集，制作训练集和测试集；

步骤2.搭建方向和尺度自适应的卷积神经网络SOA-EPN；

步骤3.使用训练集训练搭建好的SOA-EPN网络；

步骤4.使用练好的SOA-EPN网络在测试集上进行测试；

步骤1具体包括下述步骤：

步骤1-1：使用海德堡图像处理实验室提供的4D光场数据集作为实验数据集，该数据集包含28个场景，并提供了高精度的视差和性能评估指标；每一个场景包含9行9列共81张大小为512×512的子光圈图像；将上述28个场景分为两部分，利用其中16个场景制作训练集，12个场景制作测试集；

步骤1-2：将每一个4D光场场景定义为LF(s,t，x，y),其中(x,y)是图像空间坐标系，(s,t)是角度坐标系；对于中心子光圈图像LF(4,4,x,y)上的任一点P，提取P点的0°、45°、90°、135°四个方向的EPI图像块，EPI图像块高×宽×通道的大小为9×21×3，这四个EPI图像块构成了数据集的一个样本，输入到卷积神经网络；

所述步骤2具体实现如下：

步骤2-1：搭建方向和尺度自适应的卷积神经网络SOA-EPN；

所述的SOA-EPN由4个尺度感知网络SAN构成；训练集和测试集的每一个样本包含四个EPI图像块，每一个所述的尺度感知网络SAN是以其中1个EPI图像块作为输入，预测输出是该图像块中心点P的视差预测向量logit_i，其中i＝0,1,2,3，因此会得到4个视差预测向量，使用一个有229个神经元的全连接层将这4个视差预测向量进行融合得到一个最终视差；

将4个尺度感知网络SAN进行权值共享，设定视差预测范围是-4到4，将视差预测定义为一个分类任务，预测精度是0.035个像素，则可分为229类；

所述尺度感知网络SAN一共18层，分为3个子网络，具体如下：

(1)深度特征表征网络，即第1到第8个卷积层：

该部分使用8个卷积核为2×2、步长为1×1的卷积层对输入EPI图像块进行深度特征表征，对每个卷积层的输出进行批归一化处理，再使用ReLU函数对批归一化的输出结果进行激活；所述的8个卷积层中每个卷积层的输出特征图数量依次是(16,32,64,128,256,384,512,512),第8个卷积层输出的张量记为x₀，x₀其大小为512×1×13，即512个大小为1×13的特征图；

(2)尺度自适应选择网络，即第9到第16个卷积层：

尺度自适应选择网络SASN包含四个尺度选择单元SSU，每个尺度选择单元SSU由2个卷积核为1×2、步长为1×1的卷积层，一个切片操作和一个跳跃式连接组成；尺度自适应选择网络SASN的作用是改变SOA-EPN网络的输入EPI图像块的尺寸大小；SOA-EPN在第8个卷积层的感知域大小为9×9，而x₀是尺寸为9×21的EPI图像块的深度特征，通过改变x₀的尺度间接地改变输入EPI图像块的尺寸，进而实现尺度自适应选择功能；通过四次切片操作s(·)改变x₀的尺寸，进而获得尺寸为9×19、9×17、9×15、9×13的输入EPI图像块的深度特征x₁、x₂、x₃、x₄，尺度自适应选择功能具体来说就是在9×21、9×19、9×17、9×15、9×13五个尺寸中选择一个或者是它们的某种组合，选择的策略是在训练SOA-EPN的过程学习得到的；其中SASN只以一张尺寸为9×21的EPI图像块作为输入，通过尺度选择单元SSU实现尺度自适应选择，而不是输入多张不同尺寸的EPI图像块；

第i个尺度选择单元的输出hi定义为：

其中，x₀是尺寸为9×21的EPI图像块的深度特征，x_i代表x₁、x₂、x₃、x₄；F(·)代表每一个尺度选择单元SSU的2个卷积层的卷积操作；值得注意的是，x_i的特征图数量可能会小于F(h_i-1)的特征图数量，采用补0的方式使得x_i和F(h_i-1)的特征图数量相等；s(·)是切片操作；

第9层和第10层是卷积核为1×2、步长为1×1的卷积层，它是第一个尺度选择单元SSU的卷积操作；对每个卷积层的输出进行批归一化处理，再使用斜率为0.01的Leaky ReLU函数对批归一化的输出结果进行激活；所述的2个卷积层的输出特征图的数量依次是(576，576)，第10个卷积层输出576个大小为1×11的特征图；

第11层和第12层是卷积核为1×2、步长为1×1的卷积层，它是第二个尺度选择单元SSU的卷积操作；对每个卷积层的输出进行批归一化(BN)处理，再使用斜率为0.01的LeakyReLU函数对批归一化的输出结果进行激活；所述的2个卷积层的输出特征图的数量依次是(576，576)，第12个卷积层输出576个大小为1×9的特征图；

第13层和第14层是卷积核为1×2、步长为1×1的卷积层，它是第三个尺度选择单元SSU的卷积操作；对每个卷积层的输出进行批归一化处理，再使用斜率为0.01的Leaky ReLU函数对批归一化的输出结果进行激活；所述的2个卷积层的输出特征图的数量依次是(640,640)，第14个卷积层输出640个大小为1×7的特征图；

第15层和第16层是卷积核为1×2、步长为1×1的卷积层，它是第四个尺度选择单元SSU的卷积操作；对每个卷积层的输出进行批归一化处理，再使用斜率为0.01的Leaky ReLU函数对批归一化的输出结果进行激活；所述的2个卷积层的输出特征图的数量依次是(640,640)，第16个卷积层输出640个大小为1×5的特征图；

(3)预测网络，即第17、第18个全连接层：

第17层是拥有1024个神经元的全连接层，使用ReLU函数对该全连接层的输出进行激活，使用Dropout技术处理ReLU函数的输出，每一个神经元只有50％的概率参与计算；第17层的最终输出是一个大小为1×1024的特征向量；

第18层是拥有229个神经元的全连接层，从而得到大小为1×229的视差预测向量logit_i；

步骤2-2：使用多层交叉熵损失函数对SOA-EPN进行训练，多层交叉熵损失函数如下：

其中，N是训练集的一个批大小，w_i是权重，||·||计算向量的L1距离，是真实视差概率向量；

所述步骤3具体实现如下：

从训练集中随机选取256个样本作为一个批次输入到SOA-EPN网络，网络预测输出logit_i，利用前面定义的多层交叉熵损失函数计算预测值logit_i和真实值之间的误差，进而使用反向传播算法和梯度优化算法更新SOA-EPN网络的参数；当Loss达到稳定值则完成训练；

所述步骤4具体包括下述步骤：

从测试集中任取一个场景，提取该场景中心子光圈图像上任一点P四个方向的EPI图像块，输入到训练好的SOA-EPN网络，网络输出一个大小为229的概率向量logit₄，将logit₄中概率最大的类记为z，其概率记为a，比较z-1和z+1两个类的概率并取概率较大的类记为s，其概率记为b；则P点的视差disp计算如下：

disp＝[(a/(a+b))×z+(b/(a+b))×s]×0.035+offset，其中，offset为偏移参数，取值4；则P点的深度depth＝Bf/disp，其中f是相机焦距，B是两个相邻子光圈的距离。

2.根据权利要求1所述的基于方向和尺度自适应卷积神经网络的光场深度估计方法，其特征在于所述的切片操作s(·)是指沿宽度通道切除x_i-1中每一个特征图的两端各一个神经元，进而得到x_i-1的中心区域，也就是x_i；具体来说，是尺寸为9×21的EPI图像块经过8个卷积层后输出的特征图；x₀进行一次切片操作后得到x₁，x₁是尺寸为9×19的EPI图像块经过8个卷积层后输出的特征图；同理，x₁进行一次切片操作后得到x₂，x₂是尺寸为9×17的EPI图像块经过8个卷积层后输出的特征图；以此类推，x₀、x₁、x₂、x₃、x₄分别是9×21、9×19、9×17、9×15、9×13五个尺寸的EPI图像块的特征图，尺寸依次是512×1×13、576×1×11、576×1×9、640×1×7、640×1×5。