[发明专利]一种基于RGBD相机的人脸检测和修复方法

摘要

一种基于RGBD相机的人脸检测和修复方法，采用如下步骤，步骤1：RGB相机和红外相机构成了双目摄像机系统，从RGB摄像机和红外摄像机分别得到图像数据；步骤2：在两个图像数据上分别进行人脸检测；步骤3：确定图像数据中的人脸特征向量；步骤4：利用两个相机画面的对应矩阵来计算RGB图像上的人脸关键点坐标向量在红外图像上的大致坐标位置,并在红外图像上检测到的人脸关键特征向量中选择距离最小的一个作为最优匹配结果；因为深度图像是由红外图像计算得到，所以深度图像一般和红外图像像素保持一一对应的关系，所以深度图像人脸和红外图像人脸有相同的位置；通过对RGB相机图像和深度图像的联合处理,可以在采集RGBD数据的同时完成在两种数据上的人脸检测与匹配。这让基于RGBD的人脸图像处理领域的高层应用变得可能。

主权项

1.一种基于RGBD相机的人脸检测和修复方法，其特征在于：采用如下步骤，步骤1：分别得到RGB人脸图像数据和深度图像人脸图像数据；步骤2：利用RGB人脸图像数据，基于3DMM技术建立3D人脸点云模型；步骤3：使用一帧或者多帧连续的深度人脸图像数据重建人脸点云；步骤4：将步骤2和步骤3得到的两个人脸点云进行拟合；步骤5：在完成两个点云的拟合之后，对拟合的结果进行平滑滤波；步骤6：对拟合完成的3D人脸进行点云修复；步骤7：对整个深度图像重建的点云数据进行遍历,输出修复后的点云数据，完成3D人脸数据的点云修复。