[发明专利]三维人脸重建方法、装置、介质以及设备

说明书

本申请公开了一种三维人脸重建方法，包括：获取待配准的两帧各自对应的点云，作为第一组点云和第二组点云；确定第一组点云和第二组点云中特征点的属性向量，特征点是指点云所形成的曲面中的凹点或者凸点，特征点的属性向量包括特征点对应的平均曲率和高斯曲率；根据第一组点云和第二组点云中特征点的属性向量，对第一组点云和第二组点云进行粗配准得到粗配准初始值；通过点云精准配准算法基于粗配准初始值对第一组点云和第二组点云进行精配准，由于粗配准初始提供值为精配准提供了较好的迭代初始位置，避免了配准陷入局部最优的问题，提高了配准精度，进而提高了最终构建的三维人脸模型的精度。本申请还公开了对应的装置、设备及介质。

技术领域

本申请涉及计算机视觉技术领域，尤其涉及一种三维人脸重建方法、装置、计算机可读存储介质以及设备。

背景技术

三维人脸重建技术是计算机视觉领域的一大研究热点，其在人脸识别、人脸替换、人脸驱动以及人脸编辑等各个方面都有着广泛的应用。

目前比较常用的三维人脸重建技术是主动式三维重建技术，发明人发现现有技术中的主动式三维重建技术在应用过程中，点云配准容易陷入局部最优的问题，导致最终的重建的三维人脸的精度不高。

发明内容

本申请提供了一种三维人脸重建方法，其通过包括特征点对应的平均曲率和高斯曲率在内的属性向量对待配准的两帧各自对应的点云进行粗配准，为后续点云精配准提供了较好的迭代初始位置，降低了陷入局部最优解的概率，更加利于函数趋于最优解，提高了算法的精度和效率。本申请还提供了对应的装置、设备、存储介质以及计算机程序等相关产品。

本申请第一方面提供了一种三维人脸重建方法，包括：

获取视频流，所述视频流包括多帧；

针对所述多帧，按照帧顺序依次对相邻两帧进行点云配准融合迭代处理得到多帧对应的点云融合数据，针对所述多帧对应的点云融合数据构建三维人脸模型；

其中，一次迭代过程中相邻两帧的点云配置融合过程为：

获取待配准的两帧各自对应的点云，作为第一组点云和第二组点云；

确定第一组点云中特征点的属性向量，以及确定第二组点云中特征点的属性向量，所述特征点是指点云所形成的曲面中的凹点或者凸点，所述特征点的属性向量包括特征点对应的平均曲率和高斯曲率；

根据所述第一组点云中特征点的属性向量和所述第二组点云中特征点的属性向量，对所述第一组点云和所述第二组点云进行粗配准得到粗配准初始值；

在粗配准之后，通过点云精准配准算法基于粗配准初始值对所述第一组点云和所述第二组点云进行精配准；

在精配准之后，对所述第一组点云和所述第二组点云进行点云融合得到点云融合数据。

可选的，所述获取待配准的两帧各自对应的点云，包括：

获取视频流中第i帧和第i+1帧各自对应的深度图像以及彩色图像；所述i取值为大于或者等于1的正整数；

对视频流中第i帧和第i+1帧各自对应的彩色图像分别进行人脸检测，获得第i帧的人脸区域和第i+1帧的人脸区域；

基于第i+1帧的人脸区域和第i+1帧的人脸区域，根据RGB-D传感器的内外参数将第i帧的深度图像和第i+1帧的深度图像分别转换成人脸的点云数据，得到第i帧的点云和第i+1帧的点云，作为待配准的两帧各自对应的点云。

可选的，针对一帧的彩色图像，通过以下方式进行人脸检测，得到人脸区域：

通过人脸检测模型从彩色图像中提取初始人脸区域；

通过高斯肤色模型确定出彩色图像中的肤色像素，基于肤色像素从所述初始人脸区域中剔除非人脸的部分，得到人脸区域。