[发明专利]凝视位置估计方法、计算机设备及存储介质

说明书

本发明提供凝视位置估计方法、计算机设备及存储介质，根据人脸RGBD图像中目标人物的双眼图像提取双眼的眼球姿态特征；根据人脸RGBD图像获取头部姿态特征及头部深度特征；将人脸RGBD图像中眼部所在位置的图像坐标同所述头部深度特征中的对应位置的深度信息合成以得到眼部的空间位置特征；合成所述眼球姿态特征、头部姿态特征、及眼部的空间位置特征为综合特征，并输入一凝视位置估计模型以估计凝视位置；本发明利用多种与凝视位置相关的带有深度信息的姿态因素进行特征提取并组合，并通过消除原始深度信息中的噪声干扰，有效提升预测凝视位置的精准度，解决现有技术的问题。

技术领域

本发明涉及图像处理技术领域，尤其涉及凝视位置估计方法、计算机设备及存储介质。

背景技术

凝视估计是指通过人眼或人脸信息来估计人们所注视的方向或位置的一项技术。这种技术已被广泛应用于各个领域，包括人机交互，视觉行为分析和心理学研究。例如，在人机交互中，凝视估计技术被用于虚拟现实游戏，人们可以通过眼球控制游戏中物体的移动；在视觉行为分析中，可以通过凝视点估计技术开发出能够商用的预测凝视位置的仪器——眼动仪，可以通过收集志愿者所看的位置来判断图像的显著性，有助于帮助网页的广告显示位置、图像压缩等；另外，凝视点估计也能帮助我们更多的分析人们的心理，在心理测试、心理治疗中有诸多帮助。因此，凝视估计这项技术有巨大的潜在价值和研究必要。

早期的凝视估计技术是基于眼睛的几何模型和特征的方法，此种方法需要首先对志愿者进行校准，然后利用额外的红外光源等专用硬件来提取眼睛特征。如此的方法所需步骤较繁琐，校准步骤使得此种方法无法对不受干扰的人直接进行凝视点预测，额外的红外光源使得设备造价较高，不能大规模使用。最近的研究主要集中在基于外观的估计上，与基于模型的方法不同，基于外观的方法实现了令人满意的性能，同时保持了用户友好的数据采集程序，而不需要在面部姿势上进行额外的先验或进行精细的系统校准。

但是，尽管基于外观的估计是理想的凝视估计器，但现有的解决方案仍然对头部姿势、光照不一致、遮挡、低图像质量等比较敏感。特别是，凝视估计的准确性在不同受试者中仍然显著不同。

发明内容

鉴于以上所述现有技术的缺点，本发明的目的在于提供凝视位置估计方法、计算机设备及存储介质，利用多种姿态特征作为输入，通过人工智能数学模型进行位置估计点的预测，并能有效消除深度信息中的干扰，解决现有技术的问题。

为实现上述目标及其他相关目标，本发明提供一种凝视位置估计方法，包括：根据人脸 RGBD图像中目标人物的双眼图像提取双眼的眼球姿态特征；根据人脸RGBD图像获取头部姿态特征及头部深度特征；将人脸RGBD图像中眼部所在位置的图像坐标同所述头部深度特征中的对应位置的深度信息合成以得到眼部的空间位置特征；合成所述眼球姿态特征、头部姿态特征、及眼部的空间位置特征为综合特征，并输入一凝视位置估计模型以估计凝视位置。

于一实施例中，所述眼球姿态特征通过基于ResNet模型的提取器提取。

于一实施例中，所述头部姿态特征和/或头部深度特征是通过生成对抗网络模型生成的。

于一实施例中，所述头部姿态特征的方式包括：从所述人脸RGBD图像截取包含眼部的子图像，并从所述子图像提取其原始彩色特征及原始深度特征；对所述原始彩色特征与原始深度特征分别进行特征提取以形成待用彩色特征和待用深度特征，合成所述待用彩色特征和待用深度特征为合成特征；将所述合成特征按所述原始深度特征的尺寸进行还原，以得到所述头部姿态特征；和/或，所述头部深度特征的提取方式包括：将所述合成特征按能与所述头部姿态特征合成的预定尺寸进行处理，以得到所述头部深度特征。

于一实施例中，所述生成对抗网络模型具有的生成器包含一或多个卷积层和池化层，用于提取所述所述原始彩色特征与原始深度特征；所述生成器还包括与该一或多个卷积层和池化层相对的一或多个反卷积层和反池化层，用于还原所述合成特征以得到所述头部深度特征。