[发明专利]凝视位置估计方法、计算机设备及存储介质

权利要求书

1.一种凝视位置估计方法，其特征在于，包括：

根据人脸RGBD图像中目标人物的双眼图像提取双眼的眼球姿态特征；

根据人脸RGBD图像获取头部姿态特征及头部深度特征；

将人脸RGBD图像中眼部所在位置的图像坐标同所述头部深度特征中的对应位置的深度信息合成以得到眼部的空间位置特征；

合成所述眼球姿态特征、头部姿态特征、及眼部的空间位置特征为综合特征，并输入一凝视位置估计模型以估计凝视位置。

2.根据权利要求1所述的凝视位置估计方法，其特征在于，所述眼球姿态特征通过基于ResNet模型的提取器提取。

3.根据权利要求1所述的凝视位置估计方法，其特征在于，所述头部姿态特征和/或头部深度特征是通过生成对抗网络模型生成的。

4.根据权利要求3所述的凝视位置估计方法，其特征在于，所述头部姿态特征的方式包括：

从所述人脸RGBD图像截取包含眼部的子图像，并从所述子图像提取其原始彩色特征及原始深度特征；

对所述原始彩色特征与原始深度特征分别进行特征提取以形成待用彩色特征和待用深度特征，合成所述待用彩色特征和待用深度特征为合成特征；

将所述合成特征按所述原始深度特征的尺寸进行还原，以得到所述头部姿态特征；

和/或，所述头部深度特征的提取方式包括：将所述合成特征按能与所述头部姿态特征合成的预定尺寸进行处理，以得到所述头部深度特征。

5.根据权利要求3所述的凝视位置估计方法，其特征在于，所述生成对抗网络模型具有的生成器包含一或多个卷积层和池化层，用于提取所述所述原始彩色特征与原始深度特征；所述生成器还包括与该一或多个卷积层和池化层相对的一或多个反卷积层和反池化层，用于还原所述合成特征以得到所述头部深度特征。

6.根据权利要求5所述的凝视位置估计方法，其特征在于，所述一或多个卷积层和池化层是由VGG模型或GoogleLeNet模型中的部分所实现。

7.根据权利要求4所述的凝视位置估计方法，其特征在于，所述对抗网络模型还包括：深度损失函数，用于约束生成的头部深度特征与作为其生成依据的原始深度特征最为近似。

8.根据权利要求1所述的凝视位置估计方法，其特征在于，所述眼球姿态特征分为左眼的眼球姿态特征和右眼的眼球姿态特征，所述眼部的空间位置特征分为左眼的空间位置特征和右眼的空间位置特征；所述左眼的眼球姿态特征、头部姿态特征、及左眼的空间位置特征进行合成为一第一输入特征，所述右眼的眼球姿态特征、头部姿态特征、及右眼的空间位置特征进行合成为一第二输入特征，所述凝视位置估计模型对第一输入特征和第二输入特征进行综合以得到估计凝视位置。

9.一种计算机设备，其特征在于，包括：处理器及存储器；

所述存储器，存储有计算机程序；

所述处理器，用于运行所述计算机程序，以实现如权利要求1至8中任一项所述的方法。

10.一种计算机存储介质，其特征在于，存储有计算机程序，所述计算机程序被运行时实现如权利要求1至8中任一项所述的凝视位置估计方法。