[发明专利]三维人脸重建方法、装置、介质以及设备

权利要求书

1.一种三维人脸重建方法，其特征在于，包括：

获取视频流，所述视频流包括多帧；

针对所述多帧，按照帧顺序依次对相邻两帧进行点云配准融合迭代处理得到多帧对应的点云融合数据，针对所述多帧对应的点云融合数据构建三维人脸模型；

其中，一次迭代过程中相邻两帧的点云配置融合过程为：

获取待配准的两帧各自对应的点云，作为第一组点云和第二组点云；

确定第一组点云中特征点的属性向量，以及确定第二组点云中特征点的属性向量，所述特征点是指点云所形成的曲面中的凹点或者凸点，所述特征点的属性向量包括特征点对应的平均曲率和高斯曲率；

根据所述第一组点云中特征点的属性向量和所述第二组点云中特征点的属性向量，对所述第一组点云和所述第二组点云进行粗配准得到粗配准初始值；

在粗配准之后，通过点云精准配准算法基于粗配准初始值对所述第一组点云和所述第二组点云进行精配准；

在精配准之后，对所述第一组点云和所述第二组点云进行点云融合得到点云融合数据。

2.根据权利要求1所述的方法，其特征在于，所述获取待配准的两帧各自对应的点云，包括：

获取视频流中第i帧和第i+1帧各自对应的深度图像以及彩色图像；所述i取值为大于或者等于1的正整数；

对视频流中第i帧和第i+1帧各自对应的彩色图像分别进行人脸检测，获得第i帧的人脸区域和第i+1帧的人脸区域；

基于第i帧的人脸区域和第i+1帧的人脸区域，根据RGB-D传感器的内外参数将第i帧的深度图像和第i+1帧的深度图像分别转换成人脸的点云数据，得到第i帧的点云和第i+1帧的点云，作为待配准的两帧各自对应的点云。

3.根据权利要求2所述的方法，其特征在于，针对一帧的彩色图像，通过以下方式进行人脸检测，得到人脸区域：

通过人脸检测模型从彩色图像中提取初始人脸区域；

通过高斯肤色模型确定彩色图像中的肤色像素，基于肤色像素从所述初始人脸区域中剔除非人脸的部分，得到人脸区域。

4.根据权利要求1所述的方法，其特征在于，在所述确定第一组点云中特征点的属性向量，以及确定第二组点云中特征点的属性向量之前，所述方法还包括：

采用自适应双边滤波算法对所述第一组点云和所述第二组点云分别进行去噪处理。

5.根据权利要求1所述的方法，其特征在于，所述根据所述第一组点云中特征点的属性向量和所述第二组点云中特征点的属性向量，对所述第一组点云和所述第二组点云进行粗配准得到粗配准初始值，包括：

通过相似度度量函数确定所述第一组点云与所述第二组点云中特征点的属性向量的相似度；

基于所述相似度，通过单位四元数算法求解得到使得所述第一组点云和所述第二组点云配准的旋转矩阵和平移矩阵，将所述旋转矩阵和所述平移矩阵，作为粗配准初始值。

6.根据权利要求1所述的方法，其特征在于，通过以下方式进行所述精配准：

基于粗配准初始值，通过迭代最近点算法基于最小二乘法对误差函数进行最小化处理，迭代直到误差小于预设阈值。

7.根据权利要求1所述的方法，其特征在于，所述基于所述多帧对应的点云融合数据构建三维人脸模型，包括：

将所述多帧对应的点云融合数据作为一个数据场，将所述数据场中八个位置相邻的点云融合数据分别存放在一个体元的八个顶点处；

计算该体元中十二条边和等值面的交点，并构造体元中的三角面片，连接所述数据场中所有体元的三角面片，构成等值面；

合并所有立方体的等值面生成三维人脸模型。