[发明专利]视线方向估计方法、装置、电子设备、介质及程序产品

说明书

本说明书实施例公开了一种视线方向估计方法、装置、电子设备、介质及程序产品。其中，该方法包括：基于目标对象对应的目标图像获取目标脸部图像和目标眼部图像，将目标脸部图像和目标眼部图像输入视线方向估计模型中，从而根据目标眼部图像对应的眼部状态结合目标眼部图像和目标脸部图像输出目标对象的第一目标视线方向，视线方向估计模型基于已知视线方向和眼部状态的多个样本图像各自对应的样本脸部图像和样本眼部图像进行训练得到。

技术领域

本说明书涉及计算机技术领域，尤其涉及一种视线方向估计方法、装置、电子设备、介质及程序产品。

背景技术

视线方向在一定程度上能够反映人类的注意力，视线方向估计在线下刷脸支付安全、人机交互、虚拟现实、医疗健康、辅助驾驶、行为预测、心理分析、线下零售等场景中均有着广阔的应用空间。目前，相关的视线方向估计方法主要集中在通过人的脸部图像对视线方向的进行估计。

发明内容

本说明书实施例提供了一种视线方向估计方法、装置、电子设备、介质及程序产品，通过基于眼部状态及脸部图像，采用视线方向估计模型的端到端学习的方式，实现对眼部状态鲁棒的视线方向估计，从而能够更加便捷准确地估计出视线方向。上述技术方案如下：

第一方面，本说明书实施例提供了一种视线方向估计方法，包括：

基于目标对象对应的目标图像获取目标脸部图像和目标眼部图像；

将上述目标脸部图像和上述目标眼部图像输入视线方向估计模型中，输出上述目标对象的第一目标视线方向；上述视线方向估计模型基于已知视线方向和眼部状态的多个样本图像各自对应的样本脸部图像和样本眼部图像进行训练得到。

在一种可能的实现方式中，上述将上述目标脸部图像和上述目标眼部图像输入视线方向估计模型中，输出上述目标对象的第一目标视线方向，包括：

提取上述目标脸部图像对应的目标脸部特征，并提取上述目标眼部图像对应的目标眼部特征；

基于上述目标眼部特征确定上述目标眼部图像对应的眼部状态；

基于上述眼部状态对上述目标眼部特征进行加权得到上述目标眼部图像对应的目标眼部状态监督特征；

将上述目标脸部特征以及上述目标眼部状态监督特征进行融合，得到目标融合特征；

基于上述目标融合特征估计上述目标对象的第一目标视线方向。

在一种可能的实现方式中，上述目标眼部图像包括目标左眼图像和目标右眼图像；

上述提取上述目标眼部图像对应的目标眼部特征，包括：

分别提取上述目标左眼图像对应的目标左眼特征和上述目标右眼图像对应的目标右眼特征；

上述基于上述目标眼部特征确定上述目标眼部图像对应的眼部状态，包括：

基于上述目标左眼特征确定上述目标左眼图像对应的左眼状态，以及上述目标右眼特征基于上述目标右眼图像对应的右眼状态；

上述基于上述眼部状态对上述目标眼部特征进行加权得到上述目标眼部图像对应的目标眼部状态监督特征，包括：

基于上述目标左眼图像对应的左眼状态对上述目标左眼特征进行加权得到上述目标左眼图像对应的目标左眼状态监督特征，以及基于上述目标右眼图像对应的右眼状态对上述目标右眼特征进行加权得到上述目标右眼图像对应的目标右眼状态监督特征；

上述将上述目标脸部特征以及上述目标眼部状态监督特征进行融合，得到目标融合特征，包括：

将上述目标脸部特征、上述目标左眼状态监督特征以及上述目标右眼状态监督特征进行融合，得到目标融合特征。