[发明专利]一种基于RGBD相机的人脸检测和修复方法

说明书

一种基于RGBD相机的人脸检测和修复方法，采用如下步骤，步骤1：RGB相机和红外相机构成了双目摄像机系统，从RGB摄像机和红外摄像机分别得到图像数据；步骤2：在两个图像数据上分别进行人脸检测；步骤3：确定图像数据中的人脸特征向量；步骤4：利用两个相机画面的对应矩阵来计算RGB图像上的人脸关键点坐标向量在红外图像上的大致坐标位置,并在红外图像上检测到的人脸关键特征向量中选择距离最小的一个作为最优匹配结果；因为深度图像是由红外图像计算得到，所以深度图像一般和红外图像像素保持一一对应的关系，所以深度图像人脸和红外图像人脸有相同的位置；通过对RGB相机图像和深度图像的联合处理,可以在采集RGBD数据的同时完成在两种数据上的人脸检测与匹配。这让基于RGBD的人脸图像处理领域的高层应用变得可能。

技术领域

本发明涉及人脸识别领域，具体涉及一种基于RGBD相机的人脸检测和修复方法。

背景技术

人脸识别在安防领域发挥着重要作用,而在目前的人脸识别系统以及相关应用中,绝大部分使用的都是RGB图像数据,RGB图像数据有一些固有缺陷,作为二维数据,它在将三维信息投影到二维空间的过程中,丢失了深度信息,我们无法从二维图像中获取物体或者人脸的立体信息。高精度的三维重建方案能重建场景中不同物体的三维信息,但是高成本和低速率导致此类产品无法在目前的普通场景中得到大量应用。深度相机相对来说价格便宜,数据帧率高,可以实时反馈数据,它除了提供RGB图像之外还能提供红外图像和深度图像,其中深度图像提供场景中物体的立体信息。但是深度相机的缺点是精度稍低,而且利用算法产生的深度数据可能是不完整的。

在使用深度相机完成人脸识别以及相关应用的时候,我们不能只获取深度图像,因为深度图像虽然包含立体信息,但是它并不包含物体的纹理信息,而纹理信息是RGB图像提供的,所以我们需要同时采集包含人脸信息的RGB图像和深度图像。但是一般来说RGB图像和深度图像上的点并不是一一对应的,所以当我们想要把RGB图像上的人脸与深度图像上的人脸关联起来的时候就会出现找不到深度图像上的人脸的问题,或者当RGB图像上同时出现几张人脸的时候,我们就没有办法在深度图像上找到RGB图像上对应的人脸。而且深度图像上的人脸信息有可能因为无法正常反射激光导致数据缺失。以上的问题都给基于RGBD的人脸识别以及相关应用带来了困难。

发明内容

本发明针对现有技术的不足，提出一种基于RGBD相机的人脸检测和修复方法，具体技术方案如下：

一种基于RGBD相机的人脸检测和修复方法，其特征在于：采用如下步骤，

步骤1：分别得到RGB人脸图像数据和深度图像人脸图像数据；

步骤2：利用RGB人脸图像数据，基于3DMM技术建立3D人脸点云模型；

步骤3：使用一帧或者多帧连续的深度人脸图像数据重建人脸点云；

步骤4：将步骤2和步骤3得到的两个人脸点云进行拟合；

步骤5：在完成两个点云的拟合之后，对拟合的结果进行平滑滤波；

步骤6：对拟合完成的3D人脸进行点云修复；

步骤7：对整个深度图像重建的点云数据进行遍历,输出修复后的点云数据，完成3D人脸数据的点云修复。

进一步地：

所述步骤6包括以下步骤，

步骤61：判断拟合后缺失的点云数据是否在基于深度图像重建的点云上有对应的数据，如果是，则进入步骤62，否则，进入步骤63；

步骤62：利用深度图像重建的点云数据作为该点的修复数据；

步骤63：判断拟合后缺失的点云数据是否在基于深度图像重建的点云的邻域上有数据，如果是，则进入步骤64，否则进入步骤65；