[发明专利]基于双目立体视觉的智能三维人脸重建方法及系统

说明书

技术领域

本发明涉及双目立体视觉技术领域，尤其涉及一种基于双目立体视觉的智能三维人脸重建方法及系统。

背景技术

近年来，信息和通信技术已经融入到我们生活的各个部门和所有部分，打开了一个史无前例的世界，这里人们同嵌入在敏感的响应用户存在的电子设备的进行交互，以提供用户需要的智能建筑为特征的计算机辅助的安保系统正成为国内研究的趋势，需要更多复杂的服务。视觉是人类获取外界信息的最直接、最普遍的方式。视觉的最终目的是要对场景作出对观察者有意义的解释和描述，然后基于这些解释和描述并根据周围环境和观察者的意愿制定出行为规划。

计算机视觉是指用计算机实现人类的视觉功能，对客观世界的三维场景感知、识别和理解。计算机视觉是计算机科学和人工智能的一个重要分支。它的研究目的和内容有两个方面，一是用计算机实现人类视觉的部分功能；二是由此帮助理解人类视觉的机理。

双目立体匹配因其广泛的应用近几年已扩展到许多研究领域，如运动估计，目标结构的重建和最近的3D视频编码。在双目立体系统中，修正立体图像对间视差的计算(或对应)是关键一步。一旦这步准确可靠，深度信息可以方便地重构，进而得到人脸的形状信息。但是视差计算并不简单，尤其对于人脸图像。由于人脸皮肤的光滑漫反射使人脸具有较低的纹理信息。结果，传统的基于灰度相关的立体匹配方法可能由于对应结果的模糊而失败。而且，这些方法的性能由于一些因素如坏光照或遮挡而退化。到目前为止，一些尝试已经用来处理立体图像对的3D人脸重建。

从传统的立体匹配方法中得到的初始结果远不同于真实表面。结果，精细化的过程是不可或缺的。然而这不仅费时而且计算上非常昂贵，且在大部分情况下无法获得满意的结果。

发明内容

本发明的目的在于提供一种基于双目立体视觉的智能三维人脸重建系统及方法。

一方面，本发明公开了一种基于双目立体视觉的智能三维人脸重建方法，包括如下步骤：预处理步骤，对人脸图像进行包括图像归一化、亮度归一化和图像校正的预处理操作；人脸检测及特征点提取步骤，检测获取经过预处理操作的人脸图像中的人脸区域，并进行人脸特征点提取；摄像机标定步骤，通过投影矩阵重构对象，得到摄像机的内外参数，获得摄像机标定结果；双目立体匹配步骤，基于所述人脸特征点，将灰度互相关匹配算子扩展到颜色信息，并依据包括极线约束、人脸区域约束和人脸几何条件的信息来计算立体匹配生成的视差图；三维人脸重建步骤，根据所述摄像机标定结果和所述立体匹配生成的视差图计算人脸空间散列点云的三维坐标，生成三维人脸模型。

上述智能三维人脸重建方法，优选所述预处理步骤中，所述图像归一化处理包括：旋转步骤，对所述人脸图像进行旋转，使所述人脸图像中的两眼保持水平；中点调整步骤，调整双眼连线的中点位于图像宽度的中心，且所述中心在所述人脸图像的高度上位于固定位置；缩放变换步骤，对所述旋转后的人脸图像进行缩放变换，得到大小一致的标准图像。

上述智能三维人脸重建方法，优选所述预处理步骤中，所述亮度归一化处理包括：待测图像能量计算步骤，令I(i，j)表示第i行，第j列像素的灰度值，计算待测图像的能量比例因子计算步骤，定义一个平均脸，求出所述平均脸的能量AveryEnergy；依据下式确定比例因子ratio：亮度归一化步骤，依据对待测图像中的每一个像素进行亮度归一化处理。

上述智能三维人脸重建方法，优选所述预处理步骤中，所述图像校正的处理包括：对两幅图像分别进行二维的变换；原始图像首先经过透视变换，在极点被移到了无穷远点，图像中的极线束就变成了一组平行直线后，进行相似变换，各极线和图像坐标系的横轴平行；为了减少畸变，进行错切变换，使得水平方向的图像畸变最小化。

上述智能三维人脸重建方法，优选所述预处理步骤中，所述人脸检测及特征点提取步骤中，所述人脸区域通过肤色似然确定，包括如下步骤：把彩色图像由RGB空间转换到YCbCr空间，根据二维高斯模型G(m，Λ²)将一幅彩色图像转变为灰度图像，灰度值对应于该属于皮肤区域的可能性，然后通过自适应的方法取阈值，可以将灰度图像进一步变为二值图像g_ycbcr；把彩色图像由RGB空间转换到YIQ空间，提取I分量，当像素点的I分量的值在5＜I＜80时，则为肤色点，否则不是肤色点，进行分割得到二值图像g_yiq；二值图像g_ycbcr与二值图像g_yiq作“与”操作得到图像g_skin；对二值图像g_skin作闭合运算，其结构元素为3×3的单位矩阵；设定人脸的最小区域面积为50像素，然后填充面积小于50像素的肤色区域。