[发明专利]人脸姿态估计方法、装置、电子设备和存储介质

权利要求书

1.一种人脸姿态估计方法，其特征在于，包括：

确定姿态待估计的人脸深度图；

将所述人脸深度图输入至姿态估计模型，得到所述姿态估计模型输出的人脸姿态；

其中，所述姿态估计模型是基于真值姿态训练集，或基于所述真值姿态训练集和相对姿态训练集训练得到的；所述真值姿态训练集包括模拟人脸深度图及其真值姿态角，所述相对姿态训练集包括真实人脸深度图对及其相对姿态角；所述真实人脸深度图对包括真实人脸深度图，以及对所述真实人脸深度图进行姿态增强得到的增强人脸深度图；

所述模拟人脸深度图的确定方法包括：

确定三维人脸模型和真值姿态角；

基于所述真值姿态角对应的旋转矩阵，对所述三维人脸模型对应的点云进行旋转变换；

基于旋转变换后的所述三维人脸模型对应的点云，确定所述模拟人脸深度图。

2.根据权利要求1所述的人脸姿态估计方法，其特征在于，所述姿态估计模型的确定方法包括：

基于所述真值姿态训练集和所述相对姿态训练集，以最小化真值姿态角误差与相对姿态角误差为目标对初始模型进行训练，得到所述姿态估计模型；

其中，所述真值姿态角误差为所述模拟人脸深度图对应的人脸姿态角预估值与所述真值姿态角之间的差值；所述相对姿态角误差为所述真实人脸深度图对对应的相对姿态角预估值与所述相对姿态角之间的差值。

3.根据权利要求2所述的人脸姿态估计方法，其特征在于，所述姿态估计模型的损失函数为：

loss_all＝|f(Depth_sim)-Euler_gt|+|f(Aug(Depth_real))-f(Depth_real)-Euler_relative|+loss_reg

式中，loss_all为所述姿态估计模型f()的损失，f(Depth_sim)为所述模拟人脸深度图Depth_sim对应的人脸姿态角预估值，Euler_gt为所述真值姿态角，f(Aug(Depth_real))为所述增强人脸深度图Aug(Depth_real)对应的人脸姿态角预估值，f(Depth_real)为所述真实人脸深度图Depth_real对应的人脸姿态角预估值，Euler_relative为所述相对姿态角，loss_reg为所述姿态估计模型的正则项损失。

4.根据权利要求2所述的人脸姿态估计方法，其特征在于，所述增强人脸深度图的确定方法包括：

确定相对姿态角；

基于所述相对姿态角对应的旋转矩阵，对所述真实人脸深度图对应的点云进行旋转变换，确定所述真实人脸深度图对应的姿态增强点云；

基于所述姿态增强点云，确定所述增强人脸深度图。

5.根据权利要求4所述的人脸姿态估计方法，其特征在于，所述基于所述相对姿态角对应的旋转矩阵，对所述真实人脸深度图对应的点云进行旋转变换，确定所述真实人脸深度图对应的姿态增强点云，包括：

对所述真实人脸深度图对应的点云进行中心化操作，确定中心化平移向量；

基于所述相对姿态角对应的旋转矩阵，对所述真实人脸深度图对应的点云进行旋转变换；

基于所述中心化平移向量，对旋转变换后的所述真实人脸深度图对应的点云进行平移，得到所述真实人脸深度图对应的姿态增强点云。

6.根据权利要求1至5任一项所述的人脸姿态估计方法，其特征在于，所述将所述人脸深度图输入至姿态估计模型，得到所述姿态估计模型输出的人脸姿态，之前包括：

获取所述人脸深度图对应的彩色图；

基于所述彩色图中的人脸关键点和所述人脸深度图对应的相机参数，确定所述人脸深度图中的人脸关键点；

基于所述人脸深度图中的人脸关键点，以及所述人脸深度图的分辨率，对所述人脸深度图进行裁剪。