[发明专利]视频防抖方法及装置、计算机可读介质和电子设备

说明书

本公开提供一种视频防抖方法及装置、计算机可读介质和电子设备，涉及图像处理技术领域。该方法包括：获取待处理的视频帧；提取视频帧的特征关键点；将连续多帧的特征关键点输入到视频防抖模型中，输出各特征关键点对应的防抖位移数据；根据防抖位移数据对视频帧进行重渲染处理，生成防抖后的视频帧。本公开能够在实现视频防抖效果的同时，避免人脸图像发生形变，提升人像视频的防抖效果；同时通过特征关键点以及视频防抖模型实现防抖，对环境因素不敏感，适用于不同运动场景下的人像视频防抖，适用范围较广。

技术领域

本公开涉及图像处理技术领域，具体涉及一种视频防抖方法、视频防抖装置、计算机可读介质和电子设备。

背景技术

随着科学技术的飞速发展，录像成为人们记录分享生活的方式之一，录制的视频画面的稳定与否，极大程度上影响视频观感。视频防抖技术可通过对画面进行一定的旋转变形和裁切，获得具有稳定效果的视频。

目前，相关的人像视频防抖方案中，一般只针对图像进行全局的旋转变形处理，无法兼顾人像区域和画面整体的防抖效果。

发明内容

本公开的目的在于提供一种视频防抖方法、视频防抖装置、计算机可读介质和电子设备，进而至少在一定程度上提高视频整体的防抖效果，避免部分图像的形变，同时保证防抖效果的鲁棒性。

根据本公开的第一方面，提供一种视频防抖方法，包括：

获取待处理的视频帧；

提取所述视频帧的特征关键点；

将连续多帧的所述特征关键点输入到视频防抖模型中，输出各所述特征关键点对应的防抖位移数据；

根据所述防抖位移数据对所述视频帧进行重渲染处理，生成防抖后的视频帧。

根据本公开的第二方面，提供一种视频防抖装置，包括：

视频帧获取模块，用于获取待处理的视频帧；

特征关键点提取模块，用于提取所述视频帧的特征关键点；

防抖位移数据确定模块，用于将连续多帧的所述特征关键点输入到视频防抖模型中，输出各所述特征关键点对应的防抖位移数据；

视频帧防抖处理模块，用于根据所述防抖位移数据对所述视频帧进行重渲染处理，生成防抖后的视频帧。

根据本公开的第三方面，提供一种计算机可读介质，其上存储有计算机程序，计算机程序被处理器执行时实现上述的方法。

根据本公开的第四方面，提供一种电子设备，其特征在于，包括：

处理器；以及

存储器，用于存储一个或多个程序，当一个或多个程序被一个或多个处理器执行时，使得一个或多个处理器实现上述的方法。

本公开的一种实施例所提供的视频防抖方法，可以获取待处理的视频帧，并提取该视频帧的特征关键点，然后将连续多帧的特征关键点输入到视频防抖模型中，输出各特征关键点对应的防抖位移数据，最后可以根据输出的防抖位移数据对视频帧中的不同部分的画面内容进行重渲染处理，生成防抖后的视频帧。一方面，通过提取视频帧中的特征关键点，跟踪视频序列上人像的运动，然后通过视频防抖模型输出防抖后的特征关键点的防抖位移数据，进而通过防抖位移数据对视频帧中的不同特征关键点进行不同程度的调整，避免相关技术中对视频帧整体进行防抖处理而导致部分图像发生形变的问题，提升防抖后的视频帧的显示效果；另一方面，借助深度学习的方式，充分利用视频帧的有效内容即特征关键点，训练视频防抖模型，对视频画面的抖动程度、视频帧内人像的大小远近等环境因素不敏感，具有较强的鲁棒性，适用于多种运动场景下的人像视频防抖。

应当理解的是，以上的一般描述和后文的细节描述仅是示例性和解释性的，并不能限制本公开。

附图说明