[发明专利]单目RGB-D相机实时人脸重建方法及装置

说明书

本发明公开了一种单目RGB‑D相机实时人脸重建方法及装置，其中，方法包括：通过先进的人脸特征点检测算法在输入的人脸RGB图像上检测人脸特征点的位置；根据人脸特征点的位置得到当前帧每个特征点的三维坐标；获取关键帧上每个人脸特征点的当前三维坐标；根据三维坐标和当前三维坐标得到关键帧到每一帧的全局刚性运动，以得到刚性运动结果；使用刚性运动结果作为ICP的初始化，以微调人脸刚性运动；将刚性运动结果作用于关键帧模型，以更新模型的TSDF表示。该方法有效去除了非人脸区域的深度，去除非刚性运动的影响，且可以利用人脸特征点提高刚性运动估计的准确性。

技术领域

本发明涉及三维重建技术领域，特别涉及一种单目RGB-D相机实时人脸重建方法及装置。

背景技术

相关技术中，三维重建技术是计算机视觉和计算机图形学领域的研究热点，是虚拟现实/增强现实、自动驾驶、机器人等领域的核心技术之一，有着广泛的应用。近年来出现了很多工作使用消费级别的深度相机(如微软Kinect、英特尔RealSense等)对一般场景与物体进行实时三维重建。

这类工作大多基于ICP算法对已经重建好的几何部分和当前帧输入点云进行刚性配准，估计当前帧相对关键帧的刚性运动(全局的旋转和平移)。该方法在相机快速运动或者重建对象快速移动的时候具有较大的局限性，经常出现因为刚性运动估计不准确而导致重建失败。

发明内容

本申请是基于发明人对以下问题的认识和发现做出的：

单目RGB-D相机实时三维重建是计算机图形学和计算机视觉领域的研究热点，如何根据单目RGB-D相机的输入数据快速、准确地重建一般物体的几何、反射率和环境光照等信息是一项重要的研究课题。近年来先进的重建技术在几何配准环节大都使用的是基于迭代最近点(ICP)算法，但这类方法一般只能应对较慢的相机或者物体的运动。

本发明旨在至少在一定程度上解决相关技术中的技术问题之一。

为此，本发明的一个目的在于提出一种单目RGB-D相机实时人脸重建方法，该方法有效去除了非人脸区域的深度，去除非刚性运动的影响，且可以利用人脸特征点提高刚性运动估计的准确性。

本发明的另一个目的在于提出一种单目RGB-D相机实时人脸重建方法。

为达到上述目的，本发明一方面实施例提出了一种单目RGB-D相机实时人脸重建方法，包括以下步骤：步骤S1：通过先进的人脸特征点检测算法在输入的人脸RGB图像上检测人脸特征点的位置；步骤S2：根据所述人脸特征点的位置得到当前帧每个特征点的三维坐标；步骤S3：获取关键帧上每个人脸特征点的当前三维坐标；步骤S4：根据所述三维坐标和所述当前三维坐标得到所述关键帧到每一帧的全局刚性运动，以得到刚性运动结果；步骤S5：使用所述刚性运动结果作为ICP的初始化，以微调人脸刚性运动；步骤S6：将所述刚性运动结果作用于关键帧模型，以更新模型的TSDF表示。

本发明实施例的单目RGB-D相机实时人脸重建方法，考虑到人脸结构的特殊性，利用先进的人脸图像特征点检测技术提高单目RGB-D相机实时重建人脸的准确性，针对人脸这类特殊目标提出的一种新的估计全局刚性运动的方法，可以处理人脸快速运动时人脸实时三维重建，从而有效去除了非人脸区域的深度，去除非刚性运动的影响，且可以利用人脸特征点提高刚性运动估计的准确性。

另外，根据本发明上述实施例的单目RGB-D相机实时人脸重建方法还可以具有以下附加的技术特征：

进一步地，在本发明的一个实施例中，所述步骤S1进一步包括：将人脸外圈的特征点分为左特征点和右特征点；将所述左特征点和所述右特征点分别用指数函数曲线拟合，并且在拟合之后，保留同时位于两条曲线上方的区域的深度数据；将所述区域以外的深度值置为零。