[发明专利]一种基于动态滤波器网络的单目视频结构和运动预测方法

说明书

本发明公开了一种基于动态滤波器网络的单目视频结构和运动预测方法，包括以下步骤：步骤1：获取深度估计数据集并进行预处理；步骤2：构建单目视频结构和运动估计系统，包括深度估计网络、相机姿态估计网络和可解释性网络以及动态滤波器生成网络；步骤3：将步骤1得到的数据集输入到步骤2构建的神经网络中，并对其进行联合训练；步骤4：采用步骤3训练得到的分别进行神经网络进行深度值的预测。本发明充分利用光学图像与深度图像之间的相关性，实现了对深度图片的自适应滤波，在深度估计任务中能够建立深度图和输入彩色图片之间的联系，对边界信息处理得也更好。

技术领域

本发明涉及图像处理技术领域，特别是一种基于动态滤波器网络的单目视频结构和运动预测方法。

背景技术

随着三维信息的应用越来越广，对深度信息的需求日益增加。单目深度估计通过基于单视点的深度估计以单目图像或视频序列为输入，经过深度估计系统，根据图中边界、雾化效果以及位置关系中隐藏的几何结构信息，得到与原图对应的深度图。基于单目视频的深度估计方法是在视点生成的基础之上实现其中神经网络的训练的。无监督的单目视频的深度估计，在训练过程中不需要额外的深度信息——神经网络训练过程中运用的是自监督模式，根据深度信息实现视点之间的转换，并将视点转换的准确程度作为深度估计的损失函数。

无监督的单目视频深度估计系统由三个网络组成：深度估计网络、相机姿态估计网络、可解释性网络。针对一段连续的视频，在估计每一帧的深度时，以单帧图片的作为深度估计网络的输入，输出则是对应的深度图片。而相机姿态估计网络则以相邻的两帧图片作为输入，输出两帧图片拍摄时的视角转换矩阵。至于可解释性网络则是在训练过程中需要用到的，其作用是根据两帧图片之间的变化判断图片中哪些部分的变化是仅由相机的运动而引发的。因此可解释性网络和相机姿态估计网络有共用的部分。整个系统采用的是自监督训练，所以损失函数采用的是视点合成的方式。用I₁,...,I_N表示训练集中的图片序列，以I_t表示目标帧，I_s(1≤s≤N,s≠t)表示剩下的图片，那么视角生成的目标可以表示成以下形式：

这里的p表示像素坐标，而I_s则是根据源图像I_s，利用网络预测的深度和相机转换矩阵合成的目标视点上的影像，根据合成影像和真实影像之间的差别衡量网络得到的估计结果的准确性。在深度估计过程中，深度图的平滑约束起到了很重要的作用，最近提出的动态滤波网络可以将单目深度估计中的平滑约束与彩色图片结合起来。

动态滤波模型包含两个部分，一是根据输入图片生成的滤波器系数，二是动态滤波层。这里的滤波系数在网络训练完成后，并不是固定的，而是会随着输入图片的变化而不同。动态滤波层在滤波系数确定后以卷积或者其他形式确定滤波器并将其运用到输入图像中，进而得到最终的输出结果。这样的动态滤波系统不仅实现了对局部信息的提取，也同时能够利用整幅图片的信息。因为滤波系数和滤波器所运用的位置及图片相关。

用表示输入图片，其中h是图片的高度，ω是图片的宽度，c_A是图片的通道数。网络的输出则是一个以为权值的滤波器。其中s是滤波器的大小，c_B是图片B的通道数，n是滤波器的个数。d在动态卷积过程中为1，而在动态局部滤波中则为h×ω个。网络输出的滤波器然后会被运用到输入上，然后生成图片G＝F_θ(I_B)，其中F_θ表示的是由网络输出决定的滤波器。滤波器感受野的尺度大小s可以根据实际使用情况确定。

在深度估计过程中，深度图的平滑约束起到了很重要的作用。因为单视点的深度估计本身是欠定问题，因此需要额外的先验信息对估计结果进一步约束，而对于深度图的平滑程度要求则是一种常用的先验知识。