[发明专利]一种基于深度学习的单张图片的运动估计系统及方法

说明书

本发明公开了一种基于深度学习的单张图片的运动估计系统及方法，首先拍摄具有运动状态的物体的视频集，制作相同时间戳的前后两帧的运动图片对，构建数据集。然后构建场景信息提取网络，用于提取输入图片场景信息S_E；构建运动信息估计网络，用于提取并估计输入图片运动信息M_E。构建信息融合网络，用于融合场景信息和运动信息估计结果，得到具有运动估计效果的输出图片。本发明方法基于图片级和像素级对指定的输入图片进行重建，并在重建过程中对图片中部分物体的轮廓进行合理偏移，从而实现对单张图片的运动估计，将深度学习技术引入到运动估计领域中。

技术领域

本发明属于图像处理技术领域，涉及基于深度学习的图像重建方法，尤其涉及基于深度学习的单张图像的运动估计算法。

背景技术

随着深度学习技术的快速发展，越来越多的领域采用深度学习的方法实现指定任务。传统的图像重建技术受限于重建精度与计算成本，也开始采用深度学习的方法来实现图像重建。基于深度学习的图像重建算法，重建精度更高，计算人工成本也随之降低，尤其在医学图像领域颇受欢迎。另外，随着深度学习的进一步发展，复杂的模型与强大的算力让一系列图像重建算法的应用场景更加广泛，尤其是在图像去模糊，图像超分辨率以及图像增强领域，均取得了巨大的进展。

此外，本发明涉及的另一领域是运动估计，传统的运动估计的基本思想是将图像序列的每一帧分成许多互不重叠的块，并认为块内所有象素的位移量都相同，然后对每个块，在参考帧的某一给定搜索范围内，根据一定的匹配准则找出与当前块最相似的块，即匹配块，匹配块与当前块的相对位移即为运动矢量(motion vector,MV)。但是，这种运动估计的算法通常用于视频压缩领域，是为了减少数据冗余，是从视频序列抽取运动信息的一整套技术中的部分技术。因而，使用基于深度学习的图像重建技术实现图像运动估计的方法则是更少。

发明内容

针对现有技术中存在的不足，本发明提供一种基于深度学习的单张图片的运动估计系统及方法；

现有的基于深度学习方法的图像重建技术，多数用于超分辨率领域，去模糊领域，或者图像增强领域。这类基于端到端的图像重建方法，更偏向于像素点位置处的像素值修正，是一种像素级间的处理方法。本发明提供了一种基于深度学习的单张图片的运动估计系统及方法，该方法基于图片级和像素级对指定的输入图片进行重建，并在重建过程中对图片中部分物体的轮廓进行合理偏移，从而实现对单张图片的运动估计，将深度学习技术引入到运动估计领域中。

一种基于深度学习的单张图像的运动估计方法，其步骤包括：

步骤(1)、构建数据集；

拍摄具有运动状态的物体的视频集，制作相同时间戳的前后两帧的运动图片对，构建数据集。

步骤(2)、构建场景信息提取网络，并通过数据集进行训练，用于提取输入图片场景信息S_E；

步骤(3)、构建运动信息估计网络，并通过数据集进行训练，用于提取并估计输入图片运动信息M_E。

步骤(4)、构建信息融合网络，并通过数据集进行训练，用于融合场景信息和运动信息估计结果，得到具有运动估计效果的输出图片。

步骤(5)、将需要进行运动估计的真实图片分别输入训练好的场景信息提取网络和运动信息估计网络，得到输入图片的场景信息S_E和运动信息估计结果M_E，然后通过训练好的信息融合网络对场景信息S_E和运动信息估计结果M_E进行融合，得到具有运动估计效果的输出图片。

步骤(1)具体方法如下；