[发明专利]一种视频在线稳定方法及系统

说明书

本发明实施例提供一种视频在线稳定方法及系统，该方法包括：获取待测视频和训练后的卷积神经网络；将所述待测视频中位于当前帧图像及之前的若干帧图像输入到训练后的卷积神经网络中，获取变形参数；通过所述变形参数对所述当前帧图像的下一帧图像进行转换，获取稳定后的下一帧图像，并将稳定后的下一帧图像重新作为所述当前帧图像；直到处理完所述待测视频的所有帧，获取稳定后的待测视频。本发明实施例提供的一种视频在线稳定方法及系统，通过深度卷积神经网络解决了视频稳定化的问题，并且，本发明实施例的可并行度高，在GPU上的运行速度比传统离线方法快十倍，扩展了视频稳定化的应用场景。

技术领域

本发明实施例涉及图像处理技术领域，尤其涉及一种视频在线稳定方法及系统。

背景技术

随着移动设备与社交网络的快速发展，使用手机等移动设备拍摄成为了常见的网络媒体形式之一。由于高频抖动，视频稳定技术对于大多数手持拍摄视频至关重要。先前已经提出了几种基于2D、2.5D和3D的稳定技术，但据我们所知，迄今为止还没有提出基于深度卷积神经网络的解决方案。这种遗漏的主要原因是训练数据的不足以及使用神经网络对问题建模的挑战。

在视频稳定化领域，Grundmann等人在2011年提出用基于L₁路径优化的方法对手持拍摄的视频进行稳定化，Liu等人在2013年提出将视频图像域划分成规则网格，通过对每个网格内的视频内容进行平滑，从而对视频整体内容进行稳定化。总体来讲，视频稳定化技术可以分为基于三维的场景重建的方法与基于二维特征点跟踪的方法将相机路径进行表达并平滑。

近年来，在深度卷积神经网络在计算机视觉任务方面的应用，可以预测光流，相机运动或语义。也有很多直接产生视频的应用，如场景动态生成，帧插值和去模糊，但是预测长视频序列仍然是一个具有挑战性的问题，所以上述所有工作仅使用两个或几个连续帧作为训练样本。

因此，亟需一种在深度卷积神经网络领域解决视频稳定化问题的方法。

发明内容

针对上述问题，本发明实施例提供一种视频在线稳定方法及系统。

第一方面，本发明实施例提供一种视频在线稳定方法，包括：

S1，获取待测视频和训练后的卷积神经网络，训练后的卷积神经网络通过训练视频集对初始卷积神经网络进行训练得到；

S2，将所述待测视频中的当前图像、和位于所述当前帧图像之前的若干帧图像输入到训练后的卷积神经网络中，获取变形参数，所述当前图像和位于所述当前帧图像之前的图像是稳定的，所述变形参数表示将不稳定图像转换为稳定图像的网格参数；

S3，通过所述变形参数对所述当前帧图像的下一帧图像进行转换，获取稳定后的下一帧图像，并将稳定后的下一帧图像重新作为所述当前帧图像；

S4，重复步骤S2至S3，直到处理完所述待测视频的所有帧，获取稳定后的待测视频。

第二方面，本发明实施例提供一种视频在线稳定系统，包括：

获取模块，用于获取待测视频和训练后的卷积神经网络，训练后的卷积神经网络通过训练视频集对初始卷积神经网络进行训练得到；

变形模块，用于将所述待测视频中的当前图像、和位于所述当前帧图像之前的若干帧图像输入到训练后的卷积神经网络中，获取变形参数，所述当前图像和位于所述当前帧图像之前的图像是稳定的，所述变形参数表示将不稳定图像转换为稳定图像的网格参数；

转换模块，用于通过所述变形参数对所述当前帧图像的下一帧图像进行转换，获取稳定后的下一帧图像，并将稳定后的下一帧图像重新作为所述当前帧图像；

处理模块，用于重复上述步骤，直到处理完所述待测视频的所有帧，获取稳定后的待测视频。

第三方面，本发明实施例提供一种电子设备，包括：