[发明专利]虚拟形象驱动方法、装置、设备及存储介质

说明书

本发明实施例公开了一种虚拟形象驱动方法、装置、设备及存储介质。该方法包括：获取目标视频帧，并将所述目标视频帧输入虚拟形象驱动模型；所述目标视频帧中包括与目标虚拟形象对应的目标对象；通过所述虚拟形象驱动模型，提取与所述目标视频帧对应的图像特征和人体关键点特征，并将所述图像特征与所述人体关键点特征进行特征融合；获取所述虚拟形象驱动模型根据融合特征预测出的驱动信号；根据所述驱动信号，驱动所述目标虚拟形象做出与所述目标视频帧中的目标对象相同的动作。本发明实施例的技术方案，通过融合图像特征与人体关键点特征来驱动虚拟形象，在满足实时性的同时提高虚拟形象的驱动准确度。

技术领域

本发明实施例涉及人工智能和计算机视觉技术领域，尤其涉及一种虚拟形象驱动方法、装置、设备及存储介质。

背景技术

近年来，随着基于人工智能的计算机视觉技术得到快速发展，根据图像驱动虚拟形象进行相应动作，在体感游戏、虚拟现实、安防、监控等多个领域都有较大的应用前景。目前，在根据图像驱动虚拟形象时，如果使用计算量较大的模型，则会有较长的延迟时间，较难应用到用户客户端中；如果使用计算量较小的驱动模型则较难训练收敛，且驱动效果较差。

发明内容

本发明实施例提供一种虚拟形象驱动方法、装置、设备及存储介质，以通过融合图像特征与人体关键点特征来驱动虚拟形象，在满足实时性的同时提高虚拟形象的驱动准确度。

第一方面，本发明实施例提供了一种虚拟形象驱动方法，包括：

获取目标视频帧，并将目标视频帧输入虚拟形象驱动模型；目标视频帧中包括与目标虚拟形象对应的目标对象；

通过虚拟形象驱动模型，提取与目标视频帧对应的图像特征和人体关键点特征，并将图像特征与人体关键点特征进行特征融合；

获取虚拟形象驱动模型根据融合特征预测出的驱动信号；

根据驱动信号，驱动目标虚拟形象做出与目标视频帧中的目标对象相同的动作。

可选的，通过虚拟形象驱动模型，提取与目标视频帧对应的图像特征和人体关键点特征，包括：

通过虚拟形象驱动模型中的第一特征提取网络，提取与目标视频帧对应的图像特征；

通过虚拟形象驱动模型中的解码器网络，获取与图像特征对应的二维人体关键点坐标；

通过虚拟形象驱动模型中的第二特征提取网络，对二维人体关键点坐标进行特征提取，得到人体关键点特征。

可选的，第一特征提取网络为MobileNet V3网络；第二特征提取网络为六层的全连接神经网络。

可选的，获取虚拟形象驱动模型根据融合特征预测出的驱动信号，包括：

通过虚拟形象驱动模型中的全连接层，将所述融合特征与各全连接层的加权矩阵做乘积运算，以将融合特征映射为六维空间数据；

将六维空间数据转换为四元数，得到与目标视频帧对应的驱动信号。

可选的，在获取目标视频帧，并将目标视频帧输入虚拟形象驱动模型之前，还包括：

使用数据集COCO对虚拟形象驱动模型中的第一特征提取网络进行人体关键点检测任务预训练。

可选的，在获取目标视频帧，并将目标视频帧输入虚拟形象驱动模型之前，还包括：

定义虚拟形象驱动模型的损失函数为驱动信号的损失函数和人体关键点坐标的损失函数之和；

其中，驱动信号的损失函数为投影二维人体关键点的误差以及预测的驱动信号与真实驱动信号的误差之和；

人体关键点坐标的损失函数为各预测的二维人体关键点坐标与真实的二维人体关键点坐标之间的均方误差；