[发明专利]一种基于3D卷积神经网络的双目视差计算方法

权利要求书

1.一种基于3D卷积神经网络的双目视差计算方法，其特征在于，包括以下步骤：

S1.构建一种用于多尺度特征提取网络结构，根据该结构定义一种多尺度特征提取方法；用于多尺度特征提取网络方法为：对输入的图像，每次经过一个CNN子网络，得到一个尺度的特征，设置每个CNN子网络的步长为2，总共有4个CNN子网络，总共可提取得到1/2，1/4，1/8，1/16共4个尺度下的子特征，将特征堆叠后输入另外一个CNN子网络得到对每个尺度特征的权重，最后利用该权重对前面4个尺度的特征进行加权操作，得到最终的多尺度特征；

S2.根据S1步骤提供的特征提取网络方法，对输入的左右两幅图像分别进行特征提取，得到的特征设为F₁、F₂；

S3.根据提取得到的左右图特征F₁和F₂，堆叠左右图相应视差对应位置的特征得到4D的costvolume；

S4.基于构建的4Dcostvolume，使用3DCNN子网络进行代价聚合，得到视差值的对数似然估计，并且上采样到原图分辨率，得到每个像素的可能视差值的对数似然估计，进行对数归一化操作得到新的对数似然估计，定义为L；

S5.根据训练数据的视差真实值，计算设置的真实分布；将真实分布设为高斯分布，设视差真实值为：gt，真实分布为：Di，则：

其中，N为视差枚举值，0iN，v为预设值；

S6.根据对数似然估计和真实分布，计算交叉熵，得到loss，利用该loss进行反向传播训练；

S7.局部推断：得到每个像素的视差对数似然分布后，转换成概率得到视差概率分布P_i；

S8.基于得到的视差概率分布P_i，找到对应最大概率的视差值，设为d_max；

S9.由左右视差值和视差概率分布，得到归一化概率分布

S10.通过加权平均操作得到每个像素视差的最终估计值

2.根据权利要求1所述的一种基于3D卷积神经网络的双目视差计算方法，其特征在于，所述的S7步骤中，所述的视差概率分布P_i为：

其中，N为视差枚举值，L_i为第i个对数似然估计值。

3.根据权利要求2所述的一种基于3D卷积神经网络的双目视差计算方法，其特征在于，所述的S8步骤中，同时设定左右视差值d_l和d_r为：

d_l＝d_max-v，d_r＝d_max+v。

4.根据权利要求3所述的一种基于3D卷积神经网络的双目视差计算方法，其特征在于，所述的S9步骤中为：

5.根据权利要求4所述的一种基于3D卷积神经网络的双目视差计算方法，其特征在于，所述的S10步骤中，所述的最终估计值的计算公式为：