[发明专利]一种基于双目视觉的单目视频深度估计方法

权利要求书

1.一种基于双目视觉的单目视频深度估计方法，其特征在于，包括以下步骤：

S1，视图合成部分：利用双目数据集去训练得到数据集中双目视图之间像素点的对应关系；基于双目数据集的视差，利用输入的单目视图进行另一视点的视图估计，得到双目视图；

S2，双目匹配部分：利用S1中所得的双目视图进行视差的估计，根据视差结果计算出像素的深度值；

S3，引入掩膜训练策略，将前景与背景分开训练，最后再将视差结果进行合并：

S3.1，使用mask估计网络对于双目数据集添加mask真值；

S3.2，在S2阶段训练中利用mask的标签，计算损失时分离前景与背景的训练；

S3.3，对最后生成的视频帧图像对应的深度图序列进行滤波后处理。

2.根据权利要求1所述的基于双目视觉的单目视频深度估计方法，其特征在于，所述S1具体包括以下子步骤：

S1.1，根据双目数据集设定训练的视差范围，利用卷积网络获取图像的特征图，并将不同层级的特征图经过反卷积操作恢复到与原图一致的大小，最后使用concat操作将各层级的特征图结合到一起，得到一个概率分布图。

3.根据权利要求2所述的基于双目视觉的单目视频深度估计方法，其特征在于，所述S1还包括以下子步骤：

S1.2，将S1.1中所得的特征图用于损失的估计：另一个视点各像素点的表示如其中是原视点作了大小为d的偏移操作，是不同视差值上的每个像素的概率分布图；根据预先定义的视差范围利用损失函数进行监督：loss＝|R-S|，其中S为另一个视点的真实值。

4.根据权利要求1所述的基于双目视觉的单目视频深度估计方法，其特征在于，所述S2具体包括以下子步骤：

S2.1，利用S1中生成的双目视图进行视差估计，将输入的单目视图和估计的另一视点视图进行concat的操作后进行特征提取，获取输入的单目视图和估计的另一视点视图的特征图，利用原始的视差并且使用损失函数进行监督：loss＝|D_gt-D_dt|，其中D_gt为原始的视差图，D_dt为单目视图和另一视点视图之间的视差图；

S2.2，将真实视差与估计视差之间的差值作为监督的对象，对S2.1获取的视差图进行优化；

S2.3，深度值的计算，根据公式计算出深度值Z，其中，B为两相机的基线距离，f为焦距，d为S2.2后得到的视差图中像素点的值。

5.根据权利要求1所述的基于双目视觉的单目视频深度估计方法，其特征在于：S3.3中滤波后处理操作联合双边滤波、导向滤波以及中值滤波。

6.根据权利要求1所述的基于双目视觉的单目视频深度估计方法，其特征在于：视图合成网络用于执行视图合成部分、双目匹配网络用于执行双目匹配部分；

视图合成网络包括主网络、选择网络；主网络基于VGG-16网络结构，用于得到各个尺度的特征图，在主网络的每一个池化层之后进行反卷积操作，用于将每一个层级的特征统一至相同的尺寸，将各层级的特征累加，并且进行归一化操作，最后得到一个概率分布图；选择网络将概率分布图以及单目视图的平移图像作为输入，对于每一个像素点给出不同的差异值，计算出在不同的差异值上像素点的概率分布之和，得到左视点的偏移，重建右视点，从而生成另一视点的视图，得到双目视图；

双目匹配网络包括DispNetC+、DispResNet；DispNetC+为视差估计网络，首先将双目视图对作为视差估计网络的输入，双目视图经过卷积层后得到相应的特征图像，得到的特征图像经过correlation操作，作为第二部分DispResNet视差优化网络的输入，最后利用几何约束根据视差计算得到深度图结果。

7.根据权利要求6所述的基于双目视觉的单目视频深度估计方法，其特征在于：DispResNet将预测值与真实值之间的误差作为监督对象，修正视图生成部分产生的初始视差。