[发明专利]一种虚拟人物表情动作的提取方法、系统、装置及介质

权利要求书

1.一种虚拟人物表情动作的提取方法，其特征在于，包括：

采集人物动作视频；

从所述人物动作视频中提取人物动作信息，所述人物动作信息包括人脸关键点坐标、人物身体关键点坐标和人体轮廓特征；

构建人物动作库，所述人物动作库包含多帧人脸图像，每一帧所述人脸图像包含对应的人物动作信息；

根据语音信号获取对应的唇形图像；

将所述唇形图像嵌入人物动作库相应的人脸图像中，生成包含人物表情和动作的图像；

从所述图像提取人物表情动作；

构建人物动作库这一步骤，具体包括：

根据提取的人物动作信息，生成第一标签信息，所述第一标签信息包括二维点坐标和二维掩码，存储与第一标签信息对应的人脸图像，构建人物动作库；

将所述第一标签信息输入生成对抗神经网络以对所述生成对抗神经网络进行训练；

修改所述二维点坐标和/或二维掩码以生成互不相同的第二标签信息；

将所述互不相同的第二标签信息输入训练好的生成对抗神经网络中；

输出与第二标签信息对应的人脸图像，每一帧所述人脸图像包含对应的人物动作信息；

存储与第二标签信息对应的人脸图像，进一步丰富人物动作库。

2.根据权利要求1所述的一种虚拟人物表情动作的提取方法，其特征在于，从所述人物动作视频中提取人物动作信息这一步骤，具体包括：

使用dlib采集得到人脸关键点坐标；

使用openPose采集得到人物身体关键点坐标；

使用maskRCNN采集得到人体轮廓特征；

提取所述采集得到的人脸关键点坐标、人物身体关键点坐标和人体轮廓特征；

根据提取得到的人脸关键点坐标、人物身体关键点坐标和人体轮廓特征生成对应的人物动作信息。

3.根据权利要求1所述的一种虚拟人物表情动作的提取方法，其特征在于，将所述唇形图像嵌入人物动作库相应的人脸图像中，生成包含人物表情和动作的图像这一步骤，具体包括：采用双线性插值方式对唇形图像中的唇形关键点坐标进行比例缩放；

采用仿射变换方式将缩放后的唇形关键点坐标平移到人物动作库中相应的人脸图像中的嘴唇位置；

计算人物动作库中相邻两帧人脸图像透射变换的矩阵；

根据所述矩阵，将平移后的唇形关键点坐标进行相应变换；

将变换后的唇形关键点坐标嵌入相应的人脸图像中，生成包含人物表情和动作的图像。

4.一种虚拟人物表情动作的提取系统，其特征在于，包括：

采集模块，用于采集人物动作视频；

第一提取模块，用于从所述人物动作视频中提取人物动作信息，所述人物动作信息包括人脸关键点坐标、人物身体关键点坐标和人体轮廓特征；

人物动作库构建模块，用于构建人物动作库，所述人物动作库包含多帧人脸图像，每一帧所述人脸图像包含对应的人物动作信息；

唇形图像获取模块，用于根据语音信号获取对应的唇形图像；

生成模块，用于将所述唇形图像嵌入人物动作库相应的人脸图像中，生成包含人物表情和动作的图像；

第二提取模块，用于从所述图像提取人物表情动作；

构建人物动作库这一步骤，具体包括：

根据提取的人物动作信息，生成第一标签信息，所述第一标签信息包括二维点坐标和二维掩码，存储与第一标签信息对应的人脸图像，构建人物动作库；

将所述第一标签信息输入生成对抗神经网络以对所述生成对抗神经网络进行训练；

修改所述二维点坐标和/或二维掩码以生成互不相同的第二标签信息；

将所述互不相同的第二标签信息输入训练好的生成对抗神经网络中；

输出与第二标签信息对应的人脸图像，每一帧所述人脸图像包含对应的人物动作信息；

存储与第二标签信息对应的人脸图像，进一步丰富人物动作库。