[发明专利]一种基于自监督学习的稠密光流估计系统及方法

权利要求书

1.一种基于自监督学习的稠密光流估计系统，其特征在于，包括：

图像对获取单元：用于从任意视频数据中抽取出待训练的光流估计模型训练所需要的大量原始图像对组成的训练数据集，所述图像对包含基准图像和与基准图像之后的任意一帧目标图像；

类比估计单元：用于将原始图像对，输入随机初始化的卷积神经网络模型得到原始估计的稠密光流图；另外，将原始图像对进行变换，获得扩增图像对，输入到用于与自学习单元一致的卷积神经网络，获得扩增估计的稠密光流；

参数更新单元：用于根据原始估计与扩增估计的结果更新卷积神经网络模型参数，并最终得到用于预测稠密光流的卷积神经网络模型；

预测单元：用于将任意图像对输入学习得到的卷积神经网络模型，得到所述图像对的稠密光流。

2.一种基于自监督学习的稠密光流估计方法，其特征在于，包括如下步骤：

步骤(1):从任意视频数据中抽取出待训练的光流估计模型训练所需要的大量原始图像对组成的训练数据集，原始图像对包含基准图像和与基准图像之后的任意一帧目标图像；

其中，将待预估稠密光流的图像对中，时间较前的图像称为基准图像，较后的图像称为目标图像，以{I,I′}表示图像对，其中I为基准图像，I′为目标图像。I(x,y)表示基准图像在像素坐标(x,y)的亮度值，光流F_(x,y)＝(u,v)表示坐标为(x,y)的像素点的运动轨迹，其中(u,v)表示当前帧中的像素对应到下一帧中的像素偏移量，则光流F满足下式(1)：

I(x,y)＝I′(x+u,y+v) 式(1)

步骤(2)、将原始图像对输入卷积神经网络得到初次估计的原始稠密光流图F；

步骤(3)、将原始图像对经过变换，获得扩增图像对，将扩增图像对输入至与步骤(2)相同的卷积神经网络，获得估计的扩增稠密光流图F^*。

步骤(4)、利用步骤(2)估计的原始稠密光流图F，对图中的所有坐标从目标图像I′中取值以获得重构的基准图像；按上述式(1)，重构的基准图像在像素坐标(x,y)处的像素值满足对于坐标值(x+u,y+v)出现的非整数问题，采用插值方法获取对应整数坐标的像素值；

步骤(5)、对比从步骤(4)中所获得的重构的基准图像与原始基准图像I的差异，通过度量函数计算逐像素的差异值，并对所有像素的差异求和得到自监督学习的优化目标：光度损失；

步骤(6)、对比步骤(2)中所估计的原始稠密光流图F与步骤(3)中所估计的扩增稠密光流图F^*的差异，通过度量函数计算逐像素的差异值，并对所有像素的差异求和得到类比学习的优化目标：类比损失；

步骤(7)、将光度损失与类比损失加权求和获得总损失值，即为总体优化目标，并通过计算卷积神经网络模型中各层参数关于总损失值的梯度，以基于梯度的优化方法对卷积神经网络模型的参数进行更新；

步骤(8)、对训练数据集中所有的图像对不断重复步骤(2)至步骤(7)，直至总体优化目标的损失值收敛，完成深度卷积神经网络的自监督训练。

步骤(9)、通过对给定的任意图像对，输入训练完成的卷积神经网络模型，即可获得对应的稠密光流图。

3.根据权利要求2中所述的一种基于自监督学习的稠密光流估计方法，其特征在于，所述训练数据集是通过判断前后帧画面是否变化滤去静止画面以及不属于同一段分镜的图像对，这样能提升训练数据有效性，从而使本发明方法更高效。

4.根据权利要求2中所述的一种基于自监督学习的稠密光流估计方法，其特征在于，在步骤(3)中对图像对进行的变换方式包括外观变换、空间变换和遮挡变换。

5.根据权利要求4中所述的一种基于自监督学习的稠密光流估计方法，其特征在于，所述外观变换采用随机亮度变化、随机颜色抖动、随机对比度变化、随机高斯模糊或者随机锐化；所述空间变换采用随机平移、随机翻转、随机缩放、随机旋转或者随机裁剪；所述遮挡变换是采用随机遮挡住参考图或目标图的某些区域。