[发明专利]视频防抖方法及装置、计算机可读介质和电子设备

权利要求书

1.一种视频防抖方法，其特征在于，包括：

获取待处理的视频帧；

提取所述视频帧的特征关键点；

将连续多帧的所述特征关键点输入到视频防抖模型中，输出各所述特征关键点对应的防抖位移数据；

根据所述防抖位移数据对所述视频帧进行重渲染处理，生成防抖后的视频帧。

2.根据权利要求1所述的方法，其特征在于，所述提取所述视频帧的特征关键点，包括：

对所述视频帧进行图像分割，确定所述视频帧对应的前景图像区域以及背景图像区域；

提取所述前景图像区域中的前景特征关键点，并提取所述背景图像区域中的背景特征关键点；

将所述前景特征关键点和所述背景特征关键点作为所述视频帧的特征关键点。

3.根据权利要求2所述的方法，其特征在于，所述前景图像区域包括人像区域，所述前景特征关键点包括人脸特征关键点；

所述提取所述前景图像区域中的前景特征关键点，包括：

构建虚拟三维人脸模型；

通过预先训练的卷积神经网络对所述人像区域与所述虚拟三维人脸模型进行拟合，确定所述人像区域中的人脸特征关键点。

4.根据权利要求2所述的方法，其特征在于，所述提取所述背景图像区域中的背景特征关键点，包括：

遍历相邻视频帧的所述背景图像区域中的亮度值；

根据所述亮度值确定运动向量，并将所述运动向量对应的起始点作为所述背景图像区域的背景特征关键点。

5.根据权利要求2所述的方法，其特征在于，所述对所述视频帧进行图像分割，确定所述视频帧对应的前景图像区域以及背景图像区域，包括：

通过预训练的全卷积神经网络对所述视频帧进行语义分割，确定所述视频帧对应的前景图像区域以及背景图像区域。

6.根据权利要求1所述的方法，其特征在于，所述方法还包括：

构建初始视频防抖模型，所述初始视频防抖模型包括目标损失函数，所述目标损失函数包括前景损失函数以及背景损失函数；

对所述初始视频防抖模型进行无监督学习训练，得到训练完成的视频防抖模型。

7.根据权利要求1所述的方法，其特征在于，所述根据所述防抖位移数据对所述视频帧进行重渲染处理，包括：

根据所述防抖位移数据确定所述特征关键点周围的图像内容的位移权重数据；

通过所述防抖位移数据对所述特征关键点进行重新渲染，以及通过所述位移权重数据对所述特征关键点周围的图像内容进行重新渲染。

8.一种视频防抖装置，其特征在于，包括：

视频帧获取模块，用于获取待处理的视频帧；

特征关键点提取模块，用于提取所述视频帧的特征关键点；

防抖位移数据确定模块，用于将连续多帧的所述特征关键点输入到视频防抖模型中，输出各所述特征关键点对应的防抖位移数据；

视频帧防抖处理模块，用于根据所述防抖位移数据对所述视频帧进行重渲染处理，生成防抖后的视频帧。

9.一种计算机可读介质，其上存储有计算机程序，其特征在于，所述计算机程序被处理器执行时实现如权利要求1至7中任一项所述的方法。

10.一种电子设备，其特征在于，包括：

处理器；以及

存储器，用于存储所述处理器的可执行指令；

其中，所述处理器配置为经由执行所述可执行指令来执行权利要求1至7任一项所述的方法。