[发明专利]一种视频在线稳定方法及系统

权利要求书

1.一种视频在线稳定方法，其特征在于，包括：

S1，获取待测视频和训练后的卷积神经网络，训练后的卷积神经网络通过训练视频集对初始卷积神经网络进行训练得到；

S2，将所述待测视频中的当前图像、和位于所述当前帧图像之前的若干帧图像输入到训练后的卷积神经网络中，获取变形参数，所述当前图像和位于所述当前帧图像之前的图像是稳定的，所述变形参数表示将不稳定图像转换为稳定图像的网格参数；

S3，通过所述变形参数对所述当前帧图像的下一帧图像进行转换，获取稳定后的下一帧图像，并将稳定后的下一帧图像重新作为所述当前帧图像；

S4，重复步骤S2至S3，直到处理完所述待测视频的所有帧，获取稳定后的待测视频。

2.根据权利要求1所述方法，其特征在于，所述训练视频集中包括若干对训练视频，对于任一对训练视频，所述任一对训练视频中两个训练视频的拍摄路径和拍摄时间相同，所述任一对训练视频中的其中一个视频是通过位于稳定云台上的相机拍摄得到的，所述任一训练视频中的另外一个视频与使用者的手或身体的运动一致。

3.根据权利要求1所述方法，其特征在于，所述初始卷积神经网络为StabNet，StabNet由一个编码器和一个网格格点回归器组成，所述编码器由ResNet-50实现，所述网格格点回归器由若干个全连接层组成。

4.根据权利要求1所述方法，其特征在于，所述通过所述变形参数对所述当前帧图像的下一帧图像进行转换，获取稳定后的下一帧图像稳定后的下一帧图像，具体为：

其中，表示稳定后的下一帧图像，I_t表示所述当前帧图像的下一帧图像，F_t表示所述变形参数。

5.根据权利要求4所述方法，其特征在于，所述对初始卷积神经网络进行训练过程中约束条件中的视频稳定项为：

L_stab(F_t,I_t)＝α₁L_pixel(F_t,I_t)+α₂L_feature(F_t,I_t)，

α₁＝50，α₂＝1，

其中，P_t为m个I_t和I′_t中对应的特征点对集合，L_stab(F_t,I_t)表示生成结果的稳定性损失，L_pixel(F_t,I_t)表示生成结果与训练数据中稳定视频的第t帧，即稳定监督图像的逐像素差别损失，L_feature(F_t,I_t)表示生成结果与所述稳定监督图像通过的对应特征点距离损失，I′_t表示所述稳定监督图像，m表示求得的特征点数，表示所述稳定监督图像的第i个特征点，表示生成结果图像的第i个特征点。