[发明专利]虚拟形象驱动方法、装置、设备及存储介质

权利要求书

1.一种虚拟形象驱动方法，其特征在于，包括：

获取目标视频帧，并将所述目标视频帧输入虚拟形象驱动模型；所述目标视频帧中包括与目标虚拟形象对应的目标对象；

通过所述虚拟形象驱动模型，提取与所述目标视频帧对应的图像特征和人体关键点特征，并将所述图像特征与所述人体关键点特征进行特征融合；

获取所述虚拟形象驱动模型根据融合特征预测出的驱动信号；

根据所述驱动信号，驱动所述目标虚拟形象做出与所述目标视频帧中的目标对象相同的动作。

2.根据权利要求1所述的方法，其特征在于，通过所述虚拟形象驱动模型，提取与所述目标视频帧对应的图像特征和人体关键点特征，包括：

通过所述虚拟形象驱动模型中的第一特征提取网络，提取与所述目标视频帧对应的图像特征；

通过所述虚拟形象驱动模型中的解码器网络，获取与所述图像特征对应的二维人体关键点坐标；

通过所述虚拟形象驱动模型中的第二特征提取网络，对所述二维人体关键点坐标进行特征提取，得到人体关键点特征。

3.根据权利要求2所述的方法，其特征在于，所述第一特征提取网络为MobileNet V3网络；所述第二特征提取网络为六层的全连接神经网络。

4.根据权利要求1所述的方法，其特征在于，获取所述虚拟形象驱动模型根据融合特征预测出的驱动信号，包括：

通过所述虚拟形象驱动模型中的全连接层，将所述融合特征与各全连接层的加权矩阵做乘积运算，以将融合特征映射为六维空间数据；

将所述六维空间数据转换为四元数，得到与所述目标视频帧对应的驱动信号。

5.根据权利要求3所述的方法，其特征在于，在获取目标视频帧，并将所述目标视频帧输入虚拟形象驱动模型之前，还包括：

使用数据集COCO对虚拟形象驱动模型中的第一特征提取网络进行人体关键点检测任务预训练。

6.根据权利要求1所述的方法，其特征在于，在获取目标视频帧，并将所述目标视频帧输入虚拟形象驱动模型之前，还包括：

定义所述虚拟形象驱动模型的损失函数为驱动信号的损失函数和人体关键点坐标的损失函数之和；

其中，所述驱动信号的损失函数为投影二维人体关键点的误差以及预测的驱动信号与真实驱动信号的误差之和；

所述人体关键点坐标的损失函数为各预测的二维人体关键点坐标与真实的二维人体关键点坐标之间的均方误差；

所述驱动信号的损失函数与所述人体关键点坐标的损失函数互相独立。

7.根据权利要求1所述的方法，其特征在于，根据所述驱动信号，驱动所述目标虚拟形象做出与所述目标视频帧中的目标对象相同的动作，包括：

根据所述驱动信号，确定各人体关键点的目标姿态数据；

将所述目标虚拟形象的各人体关键点的姿态数据更新为相应的目标姿态数据，以驱动所述目标虚拟形象做出与所述目标视频帧中的目标对象相同的动作。

8.一种虚拟形象驱动装置，其特征在于，包括：

模型输入模块，用于获取目标视频帧，并将所述目标视频帧输入虚拟形象驱动模型；所述目标视频帧中包括与目标虚拟形象对应的目标对象；

特征融合模块，用于通过所述虚拟形象驱动模型，提取与所述目标视频帧对应的图像特征和人体关键点特征，并将所述图像特征与所述人体关键点特征进行特征融合；

预测模块，用于获取所述虚拟形象驱动模型根据融合特征预测出的驱动信号；

驱动模块，用于根据所述驱动信号，驱动所述目标虚拟形象做出与所述目标视频帧中的目标对象相同的动作。

9.一种电子设备，其特征在于，所述设备包括：

一个或多个处理器；

存储装置，用于存储一个或多个程序，

当所述一个或多个程序被所述一个或多个处理器执行，使得所述一个或多个处理器实现如权利要求1-7中任一所述的虚拟形象驱动方法。

10.一种计算机可读存储介质，其上存储有计算机程序，其特征在于，该程序被处理器执行时实现如权利要求1-7中任一所述的虚拟形象驱动方法。