[发明专利]一种基于单目视觉的虚拟人生成方法、装置

说明书

本申请提出一种基于单目视觉的虚拟人生成方法：获取单目彩色图像；提取单目彩色图像的图像特征，并估计出人体躯干与四肢的姿态，完成对虚拟人物模型的躯干和肢体的重建；定位单目彩色图像中的手部位置信息，并截取单目彩色图像中的手部图像区域，提取手部图像区域的图像特征估计出手部旋转参数；定位单目彩色图像中的面部位置信息，并截取单目彩色图像中的面部图像区域，提取面部图像区域的图像特征估计出面部的形状参数与表情系数，生成人脸模型；利用手部旋转参数完成对手部的重建，并利用人脸模型替换三维人体模型的面部区域，完成对面部的重建，得到虚拟人物模型。由此，本申请提出了一种通过单目彩色图像实时生成虚拟人体模型的方法。

技术领域

本申请涉及计算机视觉及计算机图形学技术领域，尤其涉及一种基于单目视觉的虚拟人生成方法、装置及存储介质。

背景技术

虚拟人的生成在虚拟现实及混合现实的领域有着非常广泛的应用。虚拟人的生成要求重建的结果与真实人类保持一致，并且需要包含很多的细节，因此需要对目标对象进行完整的动作捕捉，即同时重建身体躯干与肢体的大幅度活动、双手的手势运动、面部的表情变化。

但是，相关技术中，仅通过单目彩色图像进行三维虚拟人的生成时，由于缺少大量输入信息，因此具有较高的难度。

发明内容

本公开提出的基于单目视觉的虚拟人生成方法、装置及存储介质，以提供一种通过单目彩色图像生成虚拟人的方法。

本申请第一方面实施例提出一种基于单目视觉的虚拟人生成方法，包括：

获取单目彩色图像；

提取所述单目彩色图像的图像特征，并基于所述单目彩色图像的图像特征估计出人体躯干与四肢的姿态，以完成对虚拟人物模型的躯干和肢体的重建；

利用所述人体躯干与四肢的姿态的估计结果，分别定位所述单目彩色图像中的手部位置信息，并根据所述手部位置信息截取所述单目彩色图像中的手部图像区域，提取所述手部图像区域的图像特征，基于所述手部图像区域的图像特征，估计出手部旋转参数；

利用所述人体躯干与四肢的姿态的估计结果，定位所述单目彩色图像中面部位置信息，并根据所述面部位置信息截取所述单目彩色图像中的面部图像区域，提取所述面部图像区域的图像特征，基于所述面部图像区域的图像特征，估计出面部的形状参数与表情系数，以根据所述人脸的形状参数与表情系数生成人脸模型；

将所述手部旋转参数分别应用到对虚拟人物模型的躯干和肢体的重建后得到的三维人体模型，完成对手部的重建，并利用所述人脸模型替换所述三维人体模型的面部区域，完成对面部的重建，以得到虚拟人物模型。

本申请第二方面实施例提出一种基于单目视觉的虚拟人生成装置，包括：

获取模块，用于获取单目彩色图像；

第一估计模块，用于提取所述单目彩色图像的图像特征，并基于所述单目彩色图像的图像特征估计出人体躯干与四肢的姿态，以完成对虚拟人物模型的躯干和肢体的重建；

第二估计模块，用于利用所述人体躯干与四肢的姿态的估计结果，分别定位所述单目彩色图像中的手部位置信息，并根据所述手部位置信息截取所述单目彩色图像中的手部图像区域，提取所述手部图像区域的图像特征，基于所述手部图像区域的图像特征，估计出手部旋转参数；

第三估计模块，用于利用所述人体躯干与四肢的姿态的估计结果，定位所述单目彩色图像中面部位置信息，并根据所述面部位置信息截取所述单目彩色图像中的面部图像区域，提取所述面部图像区域的图像特征，基于所述面部图像区域的图像特征，估计出面部的形状参数与表情系数，以根据所述人脸的形状参数与表情系数生成人脸模型；