[发明专利]一种虚拟人物表情动作的提取方法、系统、装置及介质

说明书

本发明公开了一种虚拟人物表情动作的提取方法、装置、装置及存储介质，所述方法包括采集人物动作视频，从所述人物动作视频中提取人物动作信息，构建人物动作库，根据语音信号获取对应的唇形图像，将所述唇形图像嵌入人物动作库相应的人脸图像中，生成包含人物表情和动作的图像，从所述图像提取人物表情动作。通过构建人物动作库，并简单的修改二维点坐标，或者二维掩码的形状，就可以生成互不相同的第二标签信息，进而能够丰富人物动作库的内容；在简化人物表情动作提取操作的同时，还能随时提取不同的表情动作，并且能够提供丰富的人物动作库，并可以方便地在人物动作库中加入新的动作，提高工作效率。本发明广泛应用于图像处理技术领域。

技术领域

本发明属于图像处理技术领域，尤其涉及一种虚拟人物表情动作的提取方法、系统、装置及存储介质。

背景技术

现有的虚拟人物表情动作的提取通常基于3D摄影机的High Fidelity，捕捉人的表情和头部动作，如眨眼和嘴唇等动作，并同步到虚拟角色身上，提供灵活的场景编辑和更丰富的交互体验，但这类应用依赖于辅助外设，如3D摄影机等；且现有全方位体验型大部分只捕捉用户眨眼、口型以及头部运动等参数，缺乏对面部表情的捕捉及缺乏对表情和肢体动作的同步的捕捉；同时在到虚拟角色过程中，需要人工一一对相应表情或动作进行标注，工作效率低。

发明内容

为解决上述至少一个问题，本发明的目的在于提供一种虚拟人物表情动作的提取方法、系统、装置及存储介质。

本发明所采取的技术方案是：一方面，本发明实施例包括一种虚拟人物表情动作的提取方法，包括：

采集人物动作视频；

从所述人物动作视频中提取人物动作信息，所述人物动作信息包括人脸关键点坐标、人物身体关键点坐标和人体轮廓特征；

构建人物动作库，所述人物动作库包含多帧人脸图像，每一帧所述人脸图像包含对应的人物动作信息；

根据语音信号获取对应的唇形图像；

将所述唇形图像嵌入人物动作库相应的人脸图像中，生成包含人物表情和动作的图像；

从所述图像提取人物表情动作。

进一步地，从所述人物动作视频中提取人物动作信息这一步骤，具体包括：

使用dlib采集得到人脸关键点坐标；

使用openPose采集得到人物身体关键点坐标；

使用maskRCNN采集得到人体轮廓特征；

提取所述采集得到的人脸关键点坐标、人物身体关键点坐标和人体轮廓特征；

根据提取得到的人脸关键点坐标、人物身体关键点坐标和人体轮廓特征生成对应的人物动作信息。

进一步地，构建人物动作库这一步骤，具体包括：

根据提取的人物动作信息，生成第一标签信息，所述第一标签信息包括二维点坐标和二维掩码，存储与第一标签信息对应的人脸图像，构建人物动作库；

将所述第一标签信息输入生成对抗神经网络以对所述生成对抗神经网络进行训练；

修改所述二维点坐标和/或二维掩码以生成互不相同的第二标签信息；

将所述互不相同的第二标签信息输入训练好的生成对抗神经网络中；

输出与第二标签信息对应的人脸图像，每一帧所述人脸图像包含对应的人物动作信息；

存储与第二标签信息对应的人脸图像，进一步丰富人物动作库。

进一步地，将所述唇形图像嵌入人物动作库相应的人脸图像中，生成包含人物表情和动作的图像这一步骤，具体包括：