[发明专利]基于时序信息的驱动控制方法、装置、电子设备和可读存储介质

权利要求书

1.一种基于时序信息的驱动控制方法，其特征在于，所述方法包括：

获取包含目标对象的连续多帧视频帧，所述多帧视频帧包含待处理视频帧和在时序上位于所述待处理视频帧之前的相邻视频帧；

对各所述视频帧中的目标对象进行关键点提取，得到多组关键点信息；所述关键点信息包括关键点的坐标和置信度；利用预先训练得到的驱动模型对所述多组关键点信息进行处理，输出所述待处理视频帧中目标对象对应的驱动信号；

利用所述驱动信号对目标虚拟形象进行驱动控制；

其中，所述利用预先训练得到的驱动模型对所述多组关键点信息进行处理，输出所述待处理视频帧中目标对象对应的驱动信号的步骤，包括：

将所述多组关键点信息导入预先训练得到的驱动模型，在所述待处理视频帧中存在不可信关键点时，确定各所述相邻视频帧中与所述不可信关键点对应的参考关键点；所述不可信关键点为置信度低于预设值的关键点；

减小所述不可信关键点的坐标所占的权重，并增大各所述参考关键点的坐标所占的权重

基于权重调整后的多组关键点信息，输出所述待处理视频帧中目标对象对应的驱动信号。

2.根据权利要求1所述的基于时序信息的驱动控制方法，其特征在于，所述驱动模型为预先利用训练样本对构建的网络模型进行训练得到；

所述训练样本包含不存在置信度低于预设值的关键点的正样本，以及存在置信度低于预设值的关键点的负样本，其中，所述负样本由对正样本中的关键点坐标进行随机扰动后获得。

3.根据权利要求1所述的基于时序信息的驱动控制方法，其特征在于， 所述利用预先训练得到的驱动模型对所述多组关键点信息进行处理，输出所述待处理视频帧中目标对象对应的驱动信号的步骤，包括：

将所述多组关键点信息导入预先训练得到的驱动模型；

针对任一目标视频帧，获得所述目标视频帧的前一帧，并获取该前一帧的关键点信息对应的状态特征，其中，所述目标视频帧为任一相邻视频帧或待处理视频帧；

根据所述前一帧的状态特征和所述目标视频帧的关键点信息，得到所述目标视频帧的状态特征；

根据所述待处理视频帧的状态特征，输出所述待处理视频帧中目标对象对应的驱动信号。

4.根据权利要求1所述的基于时序信息的驱动控制方法，其特征在于，所述多帧视频帧还包含在时序上位于所述待处理视频帧之后的相邻视频帧；

所述利用预先训练得到的驱动模型对所述多组关键点信息进行处理，输出所述待处理视频帧中目标对象对应的驱动信号的步骤，包括：

将所述多组关键点信息导入预先训练得到的驱动模型；

对所述多组关键点信息进行处理，并在完成位于待处理视频帧之后的相邻视频帧的处理后，输出所述待处理视频帧中目标对象对应的驱动信号。

5.根据权利要求1所述的基于时序信息的驱动控制方法，其特征在于，所述方法应用于直播提供端；

所述利用预先训练得到的驱动模型对所述多组关键点信息进行处理的步骤包括：

获取所述直播提供端的设备性能信息；

根据所述设备性能信息从多个预先训练得到的驱动模型中确定与所述直播提供端适配的驱动模型；

利用所确定的驱动模型对所述多组关键点信息进行处理。

6.根据权利要求1所述的基于时序信息的驱动控制方法，其特征在于，所述方法还包括预先训练得到驱动模型的步骤，该步骤包括：

构建第一网络模型和第二网络模型，其中，所述第一网络模型为计算量大于第一计算量的网络模型，所述第二网络模型为计算量小于第二计算量的网络模型，所述第一计算量大于所述第二计算量；

利用所述第一网络模型和第二网络模型分别对获取的各个训练样本进行处理，得到对应的输出结果；

调整所述第二网络模型的模型参数，以减小所述第二网络模型与所述第一网络模型的输出结果的差异后继续训练，直至满足预设要求时获得由所述第二网络模型优化得到的驱动模型。