[发明专利]视线方向估计方法、装置、电子设备、介质及程序产品

权利要求书

1.一种视线方向估计方法，所述方法包括：

基于目标对象对应的目标图像获取目标脸部图像和目标眼部图像；

将所述目标脸部图像和所述目标眼部图像输入视线方向估计模型中，输出所述目标对象的第一目标视线方向；所述视线方向估计模型基于已知视线方向和眼部状态的多个样本图像各自对应的样本脸部图像和样本眼部图像进行训练得到。

2.如权利要求1所述的方法，所述将所述目标脸部图像和所述目标眼部图像输入视线方向估计模型中，输出所述目标对象的第一目标视线方向，包括：

提取所述目标脸部图像对应的目标脸部特征，并提取所述目标眼部图像对应的目标眼部特征；

基于所述目标眼部特征确定所述目标眼部图像对应的眼部状态；

基于所述眼部状态对所述目标眼部特征进行加权得到所述目标眼部图像对应的目标眼部状态监督特征；

将所述目标脸部特征以及所述目标眼部状态监督特征进行融合，得到目标融合特征；

基于所述目标融合特征估计所述目标对象的第一目标视线方向。

3.如权利要求2所述的方法，所述目标眼部图像包括目标左眼图像和目标右眼图像；

所述提取所述目标眼部图像对应的目标眼部特征，包括：

分别提取所述目标左眼图像对应的目标左眼特征和所述目标右眼图像对应的目标右眼特征；

所述基于所述目标眼部特征确定所述目标眼部图像对应的眼部状态，包括：

基于所述目标左眼特征确定所述目标左眼图像对应的左眼状态，以及所述目标右眼特征基于所述目标右眼图像对应的右眼状态；

所述基于所述眼部状态对所述目标眼部特征进行加权得到所述目标眼部图像对应的目标眼部状态监督特征，包括：

基于所述目标左眼图像对应的左眼状态对所述目标左眼特征进行加权得到所述目标左眼图像对应的目标左眼状态监督特征，以及基于所述目标右眼图像对应的右眼状态对所述目标右眼特征进行加权得到所述目标右眼图像对应的目标右眼状态监督特征；

所述将所述目标脸部特征以及所述目标眼部状态监督特征进行融合，得到目标融合特征，包括：

将所述目标脸部特征、所述目标左眼状态监督特征以及所述目标右眼状态监督特征进行融合，得到目标融合特征。

4.如权利要求1所述的方法，所述视线方向估计模型包括：脸部图像视线方向估计网络、眼部图像视线方向估计网络以及特征融合视线方向估计网络；

所述脸部图像视线方向估计网络，用于提取输入所述视线方向估计模型的脸部图像中的脸部特征；

所述眼部图像视线方向估计网络，用于提取输入所述视线方向估计模型的眼部图像的眼部特征，并基于所述眼部特征确定所述眼部图像对应的眼部状态；

所述特征融合视线方向估计网络，用于基于所述眼部图像对应的眼部状态将所述眼部特征与所述脸部特征进行融合得到融合特征，并基于所述融合特征估计所述脸部图像以及所述眼部图像对应的对象的视线方向。

5.如权利要求1-4任一项所述的方法，所述眼部状态包括睁闭眼状态和/或遮挡状态；所述睁闭眼状态包括睁眼状态和闭眼状态；所述遮挡状态包括未遮挡状态和已遮挡状态。

6.如权利要求4所述的方法，所述脸部图像视线方向估计网络基于已知视线方向多个样本图像各自对应的样本脸部图像进行训练得到；

所述眼部图像视线方向估计网络基于已知视线方向和眼部状态的多个样本图像各自对应的样本眼部图像进行训练得到；

所述特征融合视线方向估计网络基于所述多个样本图像各自对应的样本脸部图像经由所述脸部图像视线方向估计网络得到的脸部特征、所述多个样本图像各自对应的样本眼部图像经由所述眼部图像视线方向估计网络得到的眼部特征和眼部状态、以及所述多个样本图像各自对应的视线方向进行训练得到。