[发明专利]一种带有骨骼信息的人脸重构方法和系统

说明书

技术领域

本发明属于计算机视觉领域，具体涉及一种带有骨骼信息的人脸重构方法和系统。

背景技术

三维重建是计算机视觉、计算机图像和计算机图形学的领域，也是重要的图形学图像学交叉点，而针对于人脸的三维重建更是在人脸识别、个性定制化游戏、虚拟现实和安全部门的等领域拥有广泛的应用。然而人脸具有独一无二性和多变性，这也就给人脸重建的研究带来了挑战。

近期，随着立体成像器件如三维扫描仪的快速发展，三维人脸重建技术越来越成为计算机视觉、人工智能、虚拟现实等前沿领域的热点内容。在虚拟现实中，用户可以根据自己的喜好，更换虚拟角色的造型，如发型、服饰、表情、场景等，每个用户都希望获得一个符合自己容貌，身材等特征的三维数字化的化身，而三维扫描技术可以生成数字化的化身并进入到三维场景中进行沉浸式交互体验。

三维扫描是集光、机、电和计算机技术于一体的高新技术，主要用于对物体空间外形和结构及色彩进行扫描，以获得物体表面的空间坐标，利用三维扫描的技术可以快速的获得人脸的三维模型。真实感人脸动画是在三维人脸模型上实时地模拟真实人脸的各种表情和动作。然而扫描生成的人脸三维模型只有几何信息和颜色信息，而不具备动画信息。

为了获得扫描人脸的动画信息，需要根据扫描人脸对标准人脸进行重建。现有技术是首先建立一个标准头部模型，然后通过扫描仪扫描得到人脸信息，然后将扫描的头部信息与标准头部模型进行融合，但是融合后的头部模型并没有含有躯干的骨骼信息，还需要对融合后的头部模型与躯干模型进行拼接。然而，头部与躯干交汇处会因为个体的差异，比如颈部的粗细等原因，导致头部和躯干无法直接贴合，这就需要在头部和躯干拼接后，工作人员对拼接后的模型进行手工再处理，比如对头部模型的颈部进行拉伸或者压缩使其完全贴合。这种处理的方法需要花费时间对每个头部模型的颈部和躯干连接的部分进行手动调整，耗费人力物力，导致人脸重建的效率不高。

发明内容

本发明提出了一种带有骨骼信息的人脸重构的方法和系统，克服了现有人脸重建技术中的局限性。本发明建立的标准模型中既含有躯干信息，也含有标准头部模型。在此后对扫描的人脸坐标信息进行刷新时，标准头部模型与带有骨骼的躯干模型进行拼接发生改变的顶点信息，在人脸重建的过程中保持不变，从而直接构建出带有躯干骨骼信息的人脸模型，提高了效率，为用户提供更加真实而快捷的体验。

附图说明

图1为本发明中基于带有骨骼信息的人脸重构的总体流程图；

图2为本发明一实施例中人脸特征点的标记位置示意图；

图3为本发明中带有骨骼信息的人脸重构系统框架图；

图4是标准头部模型；

图5是带有骨骼信息的扫描人脸模型。

具体实施方式

为了使本发明的目的、技术方案及优点更加清楚明白，以下结合附图及实施例，对本发明进行进一步详细说明。应当理解，此处所描述的具体实施例仅仅用以解释本发明，并不用于限定本发明。此外，下面所描述的本发明各个实施方式中所涉及到的技术特征只要彼此之间未构成冲突就可以相互组合。

本发明方法涉及到三维重建、三维形变等技术，可直接用于从扫描的人脸图象中重建完整、精确和真实的带有躯干骨骼信息的人脸三维模型，进而用于人脸识别、个性定制化游戏、虚拟现实等。

图1是按照本发明的实施例基于带有骨骼信息的人脸重构的流程。

101.建立带有骨骼信息的头部模型。

人脸特征点定位的目的是在人脸检测的基础上，进一步确定脸部特征点(眼睛、眉毛、鼻子、嘴巴、脸部外轮廓)的位置。基于特点的人脸定位的基本思路是：人脸的纹理特征和各个特征点之间的位置约束结合。在人脸重建中，每个特征点的改变，会引起人脸模型上多个顶点三维坐标的改变。如图2所示，本发明用到的三维扫描仪是基于76个特征点对人脸进行扫描得到人脸的顶点三维信息。

根据动作捕捉器的人体骨骼定义，创建对应的骨骼点并设定好骨骼与骨骼之间的关系。

通过调节标准头部模型在拼接区域处的坐标信息，使所述标准头部模型与所述躯干模型无缝连接，从而得到所述带有骨骼信息的头部模型，所述带有骨骼信息的头部模型在拼接前后保持其顶点的数据和拓扑关系不变，这样使用骨骼就可以操纵角色模型。设定每一段骨骼控制角色模型哪一部分三维点集。

由动作捕捉器(如微软的kinect)实时的获取真人的躯干以及颈部的运动参数，实现对骨骼进行识别和跟踪。