[发明专利]基于方向和尺度自适应卷积神经网络的光场深度估计方法

摘要

本发明公开了一种基于方向和尺度自适应卷积神经网络的光场深度估计方法。本发明包括如下步骤：步骤1.准备光场数据集，制作训练集和测试集；步骤2.搭建方向和尺度自适应的卷积神经网络SOA‑EPN；步骤3.使用训练集训练搭建好的SOA‑EPN网络；步骤4.使用练好的SOA‑EPN网络在测试集上进行测试；本发明借助于尺度和方向感知卷积神经网络来预测光场深度，不仅利用了多方向，而且很好的处理了遮挡等问题，得到准确的深度估计结果。

主权项

1.基于方向和尺度自适应卷积神经网络的光场深度估计方法，其特征在于包括如下步骤：步骤1.准备光场数据集，制作训练集和测试集；步骤2.搭建方向和尺度自适应的卷积神经网络SOA‑EPN；步骤3.使用训练集训练搭建好的SOA‑EPN网络；步骤4.使用练好的SOA‑EPN网络在测试集上进行测试；步骤1具体包括下述步骤：步骤1‑1：使用海德堡图像处理实验室提供的4D光场数据集作为实验数据集，该数据集包含28个场景，并提供了高精度的视差和性能评估指标；每一个场景包含9行9列共81张大小为512×512的子光圈图像；将上述28个场景分为两部分，利用其中16个场景制作训练集，12个场景制作测试集；步骤1‑2：将每一个4D光场场景定义为LF(s,t,x,y),其中(x,y)是图像空间坐标系，(s,t)是角度坐标系；对于中心子光圈图像LF(4,4,x,y)上的任一点P，提取P点的0°、45°、90°、135°四个方向的EPI图像块，EPI图像块高×宽×通道的大小为9×21×3，这四个EPI图像块构成了数据集的一个样本，输入到卷积神经网络；所述步骤2具体实现如下：步骤2‑1：搭建方向和尺度自适应的卷积神经网络SOA‑EPN；所述的SOA‑EPN由4个尺度感知网络SAN构成；训练集和测试集的每一个样本包含四个EPI图像块，每一个所述的尺度感知网络SAN是以其中1个EPI图像块作为输入，预测输出是该图像块中心点P的视差预测向量logiti，其中i＝0,1,2,3，因此会得到4个视差预测向量，使用一个有229个神经元的全连接层将这4个视差预测向量进行融合得到一个最终视差；将4个尺度感知网络SAN进行权值共享，设定视差预测范围是‑4到4，将视差预测定义为一个分类任务，预测精度是0.035个像素，则可分为229类；所述尺度感知网络SAN一共18层，分为3个子网络，具体如下：(1)深度特征表征网络，即第1到第8个卷积层：该部分使用8个卷积核为2×2、步长为1×1的卷积层对输入EPI图像块进行深度特征表征，对每个卷积层的输出进行批归一化处理，再使用ReLU函数对批归一化的输出结果进行激活；所述的8个卷积层中每个卷积层的输出特征图数量依次是(16,32,64,128,256,384,512,512),第8个卷积层输出的张量记为x0，x0其大小为512×1×13，即512个大小为1×13的特征图；(2)尺度自适应选择网络，即第9到第16个卷积层：尺度自适应选择网络SASN包含四个尺度选择单元SSU，每个尺度选择单元SSU由2个卷积核为1×2、步长为1×1的卷积层，一个切片操作和一个跳跃式连接组成；尺度自适应选择网络SASN的作用是改变SOA‑EPN网络的输入EPI图像块的尺寸大小；SOA‑EPN在第8个卷积层的感知域大小为9×9，而x0是尺寸为9×21的EPI图像块的深度特征，通过改变x0的尺度间接地改变输入EPI图像块的尺寸，进而实现尺度自适应选择功能；通过四次切片操作s(·)改变x0的尺寸，进而获得尺寸为9×19、9×17、9×15、9×13的输入EPI图像块的深度特征x1、x2、x3、x4，尺度自适应选择功能具体来说就是在9×21、9×19、9×17、9×15、9×13五个尺寸中选择一个或者是它们的某种组合，选择的策略是在训练SOA‑EPN的过程学习得到的；其中SASN只以一张尺寸为9×21的EPI图像块作为输入，通过尺度选择单元SSU实现尺度自适应选择，而不是输入多张不同尺寸的EPI图像块；第i个尺度选择单元的输出hi定义为：其中，x0是尺寸为9×21的EPI图像块的深度特征，xi代表x1、x2、x3、x4；F(·)代表每一个尺度选择单元SSU的2个卷积层的卷积操作；值得注意的是，xi的特征图数量可能会小于F(hi‑1)的特征图数量，采用补0的方式使得xi和F(hi‑1)的特征图数量相等；s(·)是切片操作；第9层和第10层是卷积核为1×2、步长为1×1的卷积层，它是第一个尺度选择单元SSU的卷积操作；对每个卷积层的输出进行批归一化处理，再使用斜率为0.01的Leaky ReLU函数对批归一化的输出结果进行激活；所述的2个卷积层的输出特征图的数量依次是(576,576)，第10个卷积层输出576个大小为1×11的特征图；第11层和第12层是卷积核为1×2、步长为1×1的卷积层，它是第二个尺度选择单元SSU的卷积操作；对每个卷积层的输出进行批归一化(BN)处理，再使用斜率为0.01的Leaky ReLU函数对批归一化的输出结果进行激活；所述的2个卷积层的输出特征图的数量依次是(576,576)，第12个卷积层输出576个大小为1×9的特征图；第13层和第14层是卷积核为1×2、步长为1×1的卷积层，它是第三个尺度选择单元SSU的卷积操作；对每个卷积层的输出进行批归一化处理，再使用斜率为0.01的Leaky ReLU函数对批归一化的输出结果进行激活；所述的2个卷积层的输出特征图的数量依次是(640,640)，第14个卷积层输出640个大小为1×7的特征图；第15层和第16层是卷积核为1×2、步长为1×1的卷积层，它是第四个尺度选择单元SSU的卷积操作；对每个卷积层的输出进行批归一化处理，再使用斜率为0.01的Leaky ReLU函数对批归一化的输出结果进行激活；所述的2个卷积层的输出特征图的数量依次是(640,640)，第16个卷积层输出640个大小为1×5的特征图；(3)预测网络，即第17、第18个全连接层：第17层是拥有1024个神经元的全连接层，使用ReLU函数对该全连接层的输出进行激活，使用Dropout技术处理ReLU函数的输出，每一个神经元只有50％的概率参与计算；第17层的最终输出是一个大小为1×1024的特征向量；第18层是拥有229个神经元的全连接层，从而得到大小为1×229的视差预测向量logiti；步骤2‑2：使用多层交叉熵损失函数对SOA‑EPN进行训练，多层交叉熵损失函数如下：其中，N是训练集的一个批大小，w_i是权重，||·||计算向量的L1距离，是真实视差概率向量；所述步骤3具体实现如下：从训练集中随机选取256个样本作为一个批次输入到SOA‑EPN网络，网络预测输出logit_i，利用前面定义的多层交叉熵损失函数计算预测值logit_i和真实值之间的误差，进而使用反向传播算法和梯度优化算法更新SOA‑EPN网络的参数；当Loss达到稳定值则完成训练；所述步骤4具体包括下述步骤：从测试集中任取一个场景，提取该场景中心子光圈图像上任一点P四个方向的EPI图像块，输入到训练好的SOA‑EPN网络，网络输出一个大小为229的概率向量logit4，将logit4中概率最大的类记为z，其概率记为a，比较z‑1和z+1两个类的概率并取概率较大的类记为s，其概率记为b；则P点的视差disp计算如下：disp＝[(a/(a+b))×z+(b/(a+b))×s]×0.035+offset，其中，offset为偏移参数，取值4；则P点的深度depth＝Bf/disp，其中f是相机焦距，B是两个相邻子光圈的距离。