[发明专利]人脸姿态估计/三维人脸重构方法、装置及电子设备

说明书

本申请公开了人脸姿态估计方法和装置，三维人脸重构方法和装置，以及电子设备。其中，人脸姿态估计方法包括：获取待处理的二维人脸图像，构建所述二维人脸图像对应的三维人脸模型，根据所述三维人脸模型的人脸特征点和所述二维人脸图像的人脸特征点，确定所述二维人脸图像的人脸姿态。采用这种处理方式，使得基于与二维人脸图像对应的三维人脸模型进行姿态求解，而不再只基于三维平均脸模型进行姿态求解，使得在对人脸大角度、夸张表情进行姿态估计时，仍可获得较高精准度的姿态；因此，可以有效提升姿态估计的鲁棒性。

技术领域

本申请涉及图像处理技术领域，具体涉及人脸姿态估计方法和装置，三维人脸重构方法和装置，以及电子设备。

背景技术

人脸姿态估计是计算机领域一个非常热门的问题，是指根据人脸图像确定脸部朝向的角度信息，即：根据人脸图像的特征计算出三个偏转角度：俯仰角(pitch)、偏航角(yaw)和旋转角(roll)。

目前，人脸姿态估计有多种方法，可以分为基于模型的方法，基于表观的方法，以及，基于分类的方法。其中，由于基于模型的方法得到的人脸姿态是连续值，姿态估计精度更高，因此基于模型的方法成为一种常用方法。一种典型的基于模型的人脸姿态估计方法的处理过程如下所述。首先，在二维人脸图像上定位关键点(特征点)坐标，获得二维关键点，如五官、轮廓等；然后，构建一个中性且无表情的平均脸的三维模型，并在该三维模型中提取与二维关键点具有相同语义的三维关键点；接下来，再根据二维关键点的坐标数值、三维关键点的坐标数值和摄像机焦距，获得三维平均脸模型至二维人脸图像的旋转矩阵；最后，根据旋转矩阵确定二维人脸图像的人脸姿态。

然而，在实现本发明过程中，发明人发现现有技术至少存在如下问题：由于三维平均脸模型和二维人脸图像通常存在差异，因此，在对人脸大角度、夸张表情进行姿态估计时，姿态估计的精准度将较大幅度降低。综上所述，现有技术存在基于三维平均脸模型进行姿态估计的鲁棒性较差的问题。

发明内容

本申请提供人脸姿态估计方法，以解决现有技术存在基于三维平均脸模型进行姿态估计的鲁棒性较差的问题。本申请另外提供三维人脸重构方法和系统，以及电子设备。

本申请提供一种人脸姿态估计方法，包括：

获取待处理的二维人脸图像；

构建所述二维人脸图像对应的三维人脸模型；

根据所述三维人脸模型的人脸特征点和所述二维人脸图像的人脸特征点，确定所述二维人脸图像的人脸姿态。

可选的，所述构建所述二维人脸图像对应的三维人脸模型，包括：

通过人脸形状拟合算法，构建所述二维人脸图像对应的三维人脸模型。

可选的，所述人脸形状拟合算法包括：

根据所述二维人脸图像的人脸内部特征点和三维平均脸模型的人脸内部特征点，确定所述三维平均脸模型至所述二维人脸图像的投影映射矩阵；

根据所述投影映射矩阵和三维特征脸空间的特征向量，构建所述二维人脸图像对应的第一三维人脸模型；

根据所述二维人脸图像的人脸轮廓特征点，对所述第一三维模型进行轮廓特征点拟合；

若所述二维人脸图像与人脸轮廓特征点拟合后的三维人脸模型之间的误差小于预设误差，则将所述人脸轮廓特征点拟合后的三维人脸模型作为所述三维人脸模型。

可选的，还包括：

若所述误差大于或等于预设误差，则根据所述人脸轮廓特征点拟合后的三维人脸模型，构建所述二维人脸图像对应的三维人脸模型。

可选的，所述构建所述二维人脸图像对应的表情三维人脸模型，包括：