[发明专利]一种基于动态滤波器网络的单目视频结构和运动预测方法

权利要求书

1.一种基于动态滤波器网络的单目视频结构和运动预测方法，其特征在于，包括以下步骤：

步骤1：获取深度估计数据集并进行预处理

在处理单目视频结构和运动估计系统训练所需的数据集时，将平均光流运动幅度小于一个像素的视频序列归为静止，去除视频中的静止部分，并把序列中最中间的一帧作为需要估计深度的目标帧，序列中除了中间那一帧以外全部作为源视点；

步骤2：构建单目视频结构和运动估计系统，包括深度估计网络、相机姿态估计网络和可解释性网络以及动态滤波器生成网络

单目视频结构和运动估计系统由四个网络组成：深度估计网络、相机姿态估计网络、可解释性网络和动态滤波器生成网络；所述深度估计网络使用的是U-net结构，而相机姿态估计网络则和可解释性网络共用网络中的编码部分，并在编码部分处理完成后输出相机姿态估计矩阵，可解释性网络则接着以解码部分继续处理，并最终输出一个同输入图片大小一致的掩膜；动态滤波器生成网络是一个动态滤波网络，它根据输入的光学图像，由CNN计算平滑滤波器，然后对深度图像进行滤波；不同像素的滤波器适应光学图像的变化，将深度平滑度和输入图像联系起来；将动态滤波器生成网络得到的对应图片中每个位置的滤波器系数通过卷积的方式对深度图片进行滤波处理，得到最终的深度结果图；

步骤3：将步骤1得到的数据集输入到步骤2构建的神经网络中，并对其进行联合训练

在单目视频结构和运动估计系统处理过程中，分别使用深度估计网络和相机姿态估计网络，对视频中的深度信息和相机姿态变换矩阵做出预测，再利用动态滤波器生成网络，根据输入的彩色图片合成和深度图片一一对应的动态滤波器系数；最后，根据动态滤波器系数，生成滤波器，并对深度估计结果进行滤波处理；根据可解释性网络输出的掩膜确定联合训练所用的损失函数，以此对深度估计网络、相机姿态估计网络和可解释性网络同时训练；

在步骤3中，训练中采用作为损失函数，其中为合成视点和原图的差别，为平滑约束，则为对于可解释性掩膜的约束；λ_s和λ_e则为平滑约束和可解释性掩膜约束的惩罚系数；l和s则表示不同视点和不同尺度；并采用当前广泛应用的Adam优化器对网络的参数进行优化；

步骤4：采用步骤3训练得到的神经网络进行深度值的预测

利用步骤3中训练得到的网络和其参数分别对单目视频的深度和相机姿态进行估计；同时使用或者独立使用步骤3中得到的深度网络和相机姿态估计网络进行估计；在每次深度估计中，单帧图片作为输入，经过深度估计网络处理，获得的输出即为预测的深度图像；在相机姿态估计过程中，以连续的3帧图片作为输入，相机姿态估计网络的输出为相邻帧之间的相机姿态变换矩阵。

2.根据权利要求1所述的一种基于动态滤波器网络的单目视频结构和运动预测方法，其特征在于，采用动态滤波网络中的动态局部滤波网络，从而同时利用图片的整体信息和局部变化和深度图自身的局部信息。

3.根据权利要求2所述的一种基于动态滤波器网络的单目视频结构和运动预测方法，其特征在于，所述动态滤波器生成网络的动态滤波模型包含两个部分，一是根据输入图片生成的滤波器系数，二是动态滤波层，所述滤波系数随着输入图片的变化而不同；动态滤波层在滤波系数确定后以卷积或者其他形式确定滤波器并将其运用到输入图像中，进而得到最终的输出结果。

4.根据权利要求3所述的一种基于动态滤波器网络的单目视频结构和运动预测方法，其特征在于，所述动态滤波器生成网络输入彩色图片，对深度图优化，搭建深度图和彩色图片之间的联系。

5.根据权利要求1所述的一种基于动态滤波器网络的单目视频结构和运动预测方法，其特征在于，在步骤1中，训练时使用的视频序列的长度为3帧；对于数据集中400个场景的视频中的每一帧都当作独立的帧处理，得到44540个长度为3帧的视频序列，其中训练集为40109个视频序列，验证集为4431个视频序列。