[发明专利]人脸深度图对齐方法、装置、计算机设备和存储介质

权利要求书

1.一种人脸深度图对齐方法，所述方法包括：

获取待对齐人脸的二维图像和深度图像；

根据所述二维图像和深度图像，生成待对齐人脸的第一点云和第一点云中对应的第一待对齐人脸特征点集合；

根据人脸的对称性，对所述第一待对齐人脸特征点集合进行非线性最优化处理，得到待对齐人脸剖面；

旋转所述待对齐人脸剖面至所述待对齐人脸剖面的法向与相机坐标系的竖轴方向相同，得到旋转矩阵；所述相机坐标系为拍摄所述待对齐人脸的二维图像和深度图像时对应的相机坐标系；

根据所述旋转矩阵，旋转所述第一点云，得到待对齐人脸的第二点云和第二点云中对应的第二待对齐人脸特征点集合；沿所述相机坐标系的竖轴旋转所述第二点云至所述第二待对齐人脸特征点集合中配对的待对齐人脸特征点对齐，得到对齐后的第二点云；

计算所述对齐后的第二点云中每一点到所述待对齐人脸剖面的距离，根据所述距离确定所述对齐后的第二点云中每一点对应的深度值，生成对齐后的人脸深度图。

2.根据权利要求1所述的方法，其特征在于，所述根据所述二维图像和深度图像，生成待对齐人脸的第一点云和第一点云中对应的第一待对齐人脸特征点集合包括：

对所述二维图像进行人脸特征点检测，得到待对齐人脸在所述二维图像中对应的第一人脸特征点集合；

根据所述二维图像与所述深度图像中每一像素点的对应关系，将所述第一人脸特征点集合转换为深度图像中对应的第二人脸特征点集合；

将所述深度图像转换为待对齐人脸的第一点云；

根据深度图像与第一点云间的转换关系，将所述第二人脸特征点集合转换为第一点云中对应的第一待对齐人脸特征点集合。

3.根据权利要求2所述的方法，其特征在于，所述对所述二维图像进行人脸特征点检测，得到待对齐人脸在所述二维图像中对应的第一人脸特征点集合包括：

检测所述二维图像，得到所述二维图像中待对齐人脸的位置信息；

根据所述位置信息，生成待对齐人脸的人脸框；

根据所述人脸框，确定待对齐人脸的特征区域；

在所述特征区域中确定待对齐人脸的特征点，生成第一人脸特征点集合。

4.根据权利要求2所述的方法，其特征在于，所述将所述深度图像转换为待对齐人脸的第一点云包括：

获取所述深度图像的像素坐标以及图像像素坐标系与三维空间坐标系间的转换关系；

根据所述转换关系计算所述深度图像中每个像素点对应的三维空间坐标；

根据所述三维空间坐标确定每个像素点对应的三维空间位置；

根据所述三维空间位置，生成对应的待对齐人脸的第一点云。

5.根据权利要求1所述的方法，其特征在于，所述根据人脸的对称性，对所述第一待对齐人脸特征点集合进行非线性最优化处理，得到待对齐人脸剖面包括：

根据人脸的对称性，在所述第一待对齐人脸特征点集合中确定待对称特征点集合；

将所述待对称特征点集合中的待对称特征点一一配对，获取配对的待对称特征点与待对齐人脸剖面间的关联关系；所述关联关系使待配对的对称特征点到待对齐人脸剖面的距离相等；

在所述第一待对齐人脸特征点集合中获取鼻尖特征点，根据所述鼻尖特征点确定待对齐人脸剖面的中心点；

对所述关联关系进行非线性最优化处理，利用待对齐人脸剖面的中心点与待对齐人脸剖面的关系，计算得到待对齐人脸剖面。

6.根据权利要求1所述的方法，其特征在于，所述沿所述相机坐标系的竖轴旋转所述第二点云至所述第二待对齐人脸特征点集合中配对的待对齐人脸特征点对齐，得到对齐后的第二点云包括：

根据人脸的对称性，在所述第二待对齐人脸特征点集合中确定待水平对齐的特征点集合；

将所述待水平对齐的特征点集合中的点一一配对；

获取配对的待水平对齐的特征点在相机坐标系下对应的纵坐标值；

沿所述相机坐标系的竖轴旋转所述第二点云，使所述配对的待水平对齐的特征点的纵坐标值相等，得到对齐后的第二点云。