[发明专利]基于时序信息的驱动控制方法、装置、电子设备和可读存储介质

说明书

本申请提供一种基于时序信息的驱动控制方法、装置、电子设备和可读存储介质，通过获取包含目标对象的连续多帧视频帧，而该多帧视频帧中包含待处理视频帧和在时序上位于待处理视频帧之前的相邻视频帧，对各视频帧中的目标对象进行关键点提取得到多组关键点信息，再利用预先训练得到的驱动模型对多组关键点信息进行处理，输出待处理视频帧中目标对象对应的驱动信号，进而基于驱动信号对目标虚拟形象进行驱动控制。该方案中，结合待处理视频帧和相邻视频帧，得到待处理视频帧对应的驱动信号，利用连续视频帧在时序上的上下文信息，可降低驱动信号误差，可以有效缓解待处理视频帧存在缺失或抖动情况下驱动信号准确性低的问题。

技术领域

本申请涉及直播技术领域，具体而言，涉及一种基于时序信息的驱动控制方法、装置、电子设备和可读存储介质。

背景技术

随着计算机视觉技术的快速发展，计算机视觉技术被广泛应用到各种领域。例如，在网络直播应用场景中，为了增加网络直播的趣味性，在直播界面上渲染虚拟形象的直播方式受到大众喜爱。在这种直播方式中，可以采集用户的视频图像，并利用计算机视觉技术对视频图像进行处理，从而得到可以用于驱动虚拟形象进行随动的驱动信号。

在现有方式中，往往是分别针对单帧视频图像进行处理以得到对应的驱动信号，这种方式由于独立地基于单帧视频图像得到驱动信号，在单帧视频图像存在缺失或抖动不稳时，将难以得到准确地驱动信号，造成随动效果不佳的问题。

发明内容

本申请的目的包括，例如，提供了一种基于时序信息的驱动控制方法、装置、电子设备和可读存储介质，其能够有效缓解存在缺失或抖动情况下驱动信号准确性低的问题。

本申请的实施例可以这样实现：

第一方面，本申请提供一种基于时序信息的驱动控制方法，所述方法包括：

获取包含目标对象的连续多帧视频帧，所述多帧视频帧包含待处理视频帧和在时序上位于所述待处理视频帧之前的相邻视频帧；

对各所述视频帧中的目标对象进行关键点提取，得到多组关键点信息；

利用预先训练得到的驱动模型对所述多组关键点信息进行处理，输出所述待处理视频帧中目标对象对应的驱动信号；

利用所述驱动信号对目标虚拟形象进行驱动控制。

在可选的实施方式中，所述关键点信息包括关键点的坐标和置信度；

所述利用预先训练得到的驱动模型对所述多组关键点信息进行处理，输出所述待处理视频帧中目标对象对应的驱动信号的步骤，包括：

将所述多组关键点信息导入预先训练得到的驱动模型，在所述待处理视频帧中存在不可信关键点时，减小所述待处理视频帧的关键点坐标所占权重并增大各所述相邻视频帧的关键点坐标所占权重，所述不可信关键点为置信度低于预设值的关键点；

基于权重调整后的多组关键点信息，输出所述待处理视频帧中目标对象对应的驱动信号。

在可选的实施方式中，所述减小所述待处理视频帧的关键点坐标所占权重并增大各所述相邻视频帧的关键点坐标所占权重的步骤，包括：

确定各所述相邻视频帧中与所述不可信关键点对应的参考关键点；

减小所述不可信关键点的坐标所占的权重，并增大各所述参考关键点的坐标所占的权重。

在可选的实施方式中，所述驱动模型为预先利用训练样本对构建的网络模型进行训练得到；

所述训练样本包含不存在置信度低于预设值的关键点的正样本，以及存在置信度低于预设值的关键点的负样本，其中，所述负样本由对正样本中的关键点坐标进行随机扰动后获得。