[发明专利]一种基于自监督学习的稠密光流估计系统及方法

说明书

本发明提供一种基于自监督学习的稠密光流估计系统及方法，一种基于自监督学习的稠密光流估计系统，包括图像对获取单元、类比估计单元、参数更新单元和预测单元；图像对获取单元用于从任意视频数据中抽取出待训练的光流估计模型训练所需要的大量原始图像对组成的训练数据集，所述图像对包含基准图像和与基准图像之后的任意一帧目标图像；参数更新单元用于根据原始估计与扩增估计的结果更新卷积神经网络模型参数，并最终得到用于预测稠密光流的卷积神经网络模型；采用本发明技术方案，通过卷积神经网络估计稠密光流速度快，精度高；采用自监督学习的方法，无需对数据进行标注，更容易获得大量的训练数据，从而提升了本发明方案的应用能力。

技术领域

本发明涉及计算机视觉领域，特别涉及一种基于自监督学习的稠密光流估计系统及方法。

背景技术

在计算机视觉领域，稠密光流(Dense Optical Flow)描述了图像中所有像素点的运动轨迹或是一对图像中像素点的对应关系。在行为识别，目标跟踪，运动预测等影像处理任务中，光流作为一种运动特征起到了十分重要的作用。

在过去的影像任务中，稠密光流的估计方法通常基于深度学习，计算量大且精度较低，无法在实际应用中使用；另外由于对视频中所有像素点逐帧地进行标注需要极大人力成本，因此只能从计算机仿真合成的数据来进行有监督学习，导致其在真实场景中性能退化严重。

综上，现有的稠密光流预估方法仍然存在诸如计算量大、训练样本依赖性严重、实际使用性能差等问题。目前亟待针对这一问题，提出一种充分利用海量的视频数据进行无需标注的学习方法，进而获得高实用性的稠密光流以供影像处理任务使用。

发明内容

鉴于上述问题，本发明提供一种基于自监督学习的稠密光流估计系统及方法，从海量原始视频数据进行模型训练，以提高影像处理任务中稠密光流估计的准确性和实用性。

本发明提供一种基于自监督学习的稠密光流估计系统，包括：

图像对获取单元：用于从任意视频数据中抽取出待训练的光流估计模型训练所需要的大量原始图像对组成的训练数据集，所述图像对包含基准图像和与基准图像之后的任意一帧目标图像；

类比估计单元：用于将原始图像对，输入随机初始化的卷积神经网络模型得到原始估计的稠密光流图；另外，将原始图像对进行变换，获得扩增图像对，输入到用于与自学习单元一致的卷积神经网络，获得扩增估计的稠密光流；

参数更新单元：用于根据原始估计与扩增估计的结果更新卷积神经网络模型参数，并最终得到用于预测稠密光流的卷积神经网络模型；

预测单元：用于将任意图像对输入学习得到的卷积神经网络模型，得到所述图像对的稠密光流。

本发明还提供一种基于自监督学习的稠密光流估计方法，包括如下步骤：

步骤(1):从任意视频数据中抽取出待训练的光流估计模型训练所需要的大量原始图像对组成的训练数据集，原始图像对包含基准图像和与基准图像之后的任意一帧目标图像。

优选地，所述训练数据集是通过判断前后帧画面是否变化滤去静止画面以及不属于同一段分镜的图像对，这样能提升训练数据有效性，从而使本发明方法更高效。

其中，将待预估稠密光流的图像对中，时间较前的图像称为基准图像，较后的图像称为目标图像，以{I,I′}表示图像对，其中I为基准图像，I′为目标图像。I(x,y)表示基准图像在像素坐标(x,y)的亮度值，光流F_(x,y)＝(u,v)表示坐标为(x,y)的像素点的运动轨迹，其中(u,v)表示当前帧中的像素对应到下一帧中的像素偏移量，则光流F满足下式(1)：

I(x,y)＝I′(x+u,y+v) 式(1)

步骤(2)、将原始图像对输入卷积神经网络得到初次估计的原始稠密光流图F。