[发明专利]一种基于单目视觉的虚拟人生成方法、装置

权利要求书

1.一种基于单目视觉的虚拟人生成方法，其特征在于，包括以下步骤：

获取单目彩色图像；

提取所述单目彩色图像的图像特征，并基于所述单目彩色图像的图像特征估计出人体躯干与四肢的姿态，以完成对虚拟人物模型的躯干和肢体的重建；

利用所述人体躯干与四肢的姿态的估计结果，分别定位所述单目彩色图像中的手部位置信息，并根据所述手部位置信息截取所述单目彩色图像中的手部图像区域，提取所述手部图像区域的图像特征，基于所述手部图像区域的图像特征，估计出手部旋转参数；

利用所述人体躯干与四肢的姿态的估计结果，定位所述单目彩色图像中面部位置信息，并根据所述面部位置信息截取所述单目彩色图像中的面部图像区域，提取所述面部图像区域的图像特征，基于所述面部图像区域的图像特征，估计出面部的形状参数与表情系数，以根据所述人脸的形状参数与表情系数生成人脸模型；

将所述手部旋转参数分别应用到对虚拟人物模型的躯干和肢体的重建后得到的三维人体模型，完成对手部的重建，并利用所述人脸模型替换所述三维人体模型的面部区域，完成对面部的重建，以得到虚拟人物模型。

2.根据权利要求1所述的虚拟人生成方法，其特征在于，所述提取所述单目彩色图像的图像特征，并基于所述单目彩色图像的图像特征估计出人体躯干与四肢的姿态，以完成对虚拟人物模型的躯干和肢体的重建，包括：

利用深度残差网络处理所述单目彩色图像，得到所述单目彩色图像在高维空间内的图像特征；

基于所述图像特征使用卷积神经网络估计人体关键点的三维坐标，并使用全连接神经网络根据所述人体关键点的三维坐标回归人体关节的旋转参数与人体的体型参数；

根据所述人体关节的旋转参数与所述人体的体型参数应用到预定义的参数化三维人体模型中，得到人体躯干与四肢的姿态，以完成对虚拟人物模型的躯干和肢体姿态的重建。

3.根据权利要求2所述的虚拟人生成方法，其特征在于，所述深度残差网络、卷积神经网络、以及全连接网络均使用已经公开的人体动作捕捉数据训练得到。

4.根据权利要求3所述的虚拟人生成方法，其特征在于，所述已经公开的人体动作捕捉数据中隐含了人体运动的先验知识，在训练网络的过程中被隐式地学习。

5.一种基于单目视觉的虚拟人生成装置，其特征在于，包括：

获取模块，用于获取单目彩色图像；

第一估计模块，用于提取所述单目彩色图像的图像特征，并基于所述单目彩色图像的图像特征估计出人体躯干与四肢的姿态，以完成对虚拟人物模型的躯干和肢体的重建；

第二估计模块，用于利用所述人体躯干与四肢的姿态的估计结果，分别定位所述单目彩色图像中的手部位置信息，并根据所述手部位置信息截取所述单目彩色图像中的手部图像区域，提取所述手部图像区域的图像特征，基于所述手部图像区域的图像特征，估计出手部旋转参数；

第三估计模块，用于利用所述人体躯干与四肢的姿态的估计结果，定位所述所述单目彩色图像中面部位置信息，并根据所述面部位置信息截取所述单目彩色图像中的面部图像区域，提取所述面部图像区域的图像特征，基于所述面部图像区域的图像特征，估计出面部的形状参数与表情系数，以根据所述人脸的形状参数与表情系数生成人脸模型；

重建模块，用于将所述手部旋转参数分别应用到对虚拟人物模型的躯干和肢体的重建后得到的三维人体模型，完成对手部的重建，并利用所述人脸模型替换所述三维人体模型的面部区域，完成对面部的重建，以得到虚拟人物模型。

6.根据权利要求5所述的虚拟人生成装置，其特征在于，所述第一估计模块，包括：

处理模块，用于利用深度残差网络处理所述单目彩色图像，得到所述单目彩色图像在高维空间内的图像特征；

回归模块，用于基于所述图像特征使用卷积神经网络估计人体关键点的三维坐标，并使用全连接神经网络根据所述人体关键点的三维坐标回归人体关节的旋转参数与人体的体型参数；

重建模块，用于将所述人体关节的旋转参数与所述人体的体型参数应用到预定义的参数化三维人体模型中，得到人体躯干与四肢的姿态，以完成对虚拟人模型的躯干和肢体姿态的重建。