[发明专利]眼球追踪方法、装置及存储介质

权利要求书

1.一种眼球追踪方法，其特征在于，包括：

将灰度图像和深度图像进行预处理，得到预设坐标系下的目标的灰度-深度图像，其中，所述灰度图像和所述深度图像中均包含所述目标的头部信息；

对所述目标的灰度-深度图像进行人头检测，以得到所述目标的头部的灰度-深度图像；

对所述目标的头部的灰度-深度图像进行人脸重建处理，以得到所述目标的人脸信息；所述对所述目标的头部的灰度-深度图像进行人脸重建处理是通过人脸重建网络模型处理的，所述人脸重建网络模型通过如下训练得到：

分别对输入人脸重建网络模型的用户灰度图像样本和用户深度图像样本进行特征提取，得到所述用户的灰度特征和深度特征；将所述用户的灰度特征和深度特征进行融合处理，得到所述用户的人脸模型参数，所述人脸模型参数包括身份参数、表情参数、纹理参数、旋转参数和位移参数；根据所述用户的人脸模型参数得到人脸信息；根据所述人脸信息获取损失值，若未达到停止条件，则调整所述人脸重建网络模型的参数，并重复执行上述步骤，直到达到停止条件，得到训练后的所述人脸重建网络模型，其中，所述损失值对应的第一损失函数中用户眼睛的权重不小于预设阈值；

根据所述人脸信息得到所述目标的瞳孔位置。

2.根据权利要求1所述的方法，其特征在于，所述对所述目标的头部的灰度-深度图像进行人脸重建处理，以得到所述目标的人脸信息，包括：

对所述目标的头部的灰度-深度图像进行特征提取，得到所述目标的灰度特征和深度特征；

将所述目标的灰度特征和深度特征进行融合处理，得到所述目标的人脸模型参数；

根据所述目标的人脸模型参数得到所述目标的人脸信息。

3.根据权利要求2所述的方法，其特征在于，所述方法还包括：

获取所述用户的第一点云样本以及遮挡物的点云样本、纹理样本；

在所述用户的第一点云样本上叠加所述遮挡物的点云样本，得到所述用户的第二点云样本；

对所述用户的第二点云样本进行消隐处理，得到所述用户的第三点云样本；

对所述第三点云样本和所述遮挡物的纹理样本进行渲染处理，得到所述用户的二维图像样本；

对所述用户的二维图像样本和所述第三点云样本分别进行添加噪声的增强处理，得到所述用户的增强后的二维图像样本和增强后的深度图像样本，其中所述用户的增强后的二维图像样本和增强后的深度图像样本分别为所述输入人脸重建网络模型的用户灰度图像样本和用户深度图像样本。

4.一种眼球追踪装置，其特征在于，包括：

预处理模块，用于将灰度图像和深度图像进行预处理，得到预设坐标系下的目标的灰度-深度图像，其中，所述灰度图像和所述深度图像中均包含所述目标的头部信息；

检测模块，用于对所述目标的灰度-深度图像进行人头检测，以得到所述目标的头部的灰度-深度图像；

重建处理模块，用于对所述目标的头部的灰度-深度图像进行人脸重建处理，以得到所述目标的人脸信息；所述重建处理模块是通过人脸重建网络模型处理的，所述人脸重建网络模型通过如下训练得到：

分别对输入人脸重建网络模型的用户灰度图像样本和用户深度图像样本进行特征提取，得到所述用户的灰度特征和深度特征；将所述用户的灰度特征和深度特征进行融合处理，得到所述用户的人脸模型参数，所述人脸模型参数包括身份参数、表情参数、纹理参数、旋转参数和位移参数；根据所述用户的人脸模型参数得到人脸信息；根据所述人脸信息获取损失值，若未达到停止条件，则调整所述人脸重建网络模型的参数，并重复执行上述步骤，直到达到停止条件，得到训练后的所述人脸重建网络模型，其中，所述损失值对应的第一损失函数中用户眼睛的权重不小于预设阈值；

获取模块，用于根据所述人脸信息得到所述目标的瞳孔位置。

5.根据权利要求4所述的装置，其特征在于，所述重建处理模块，用于：

对所述目标的头部的灰度-深度图像进行特征提取，得到所述目标的灰度特征和深度特征；

将所述目标的灰度特征和深度特征进行融合处理，得到所述目标的人脸模型参数；

根据所述目标的人脸模型参数得到所述目标的人脸信息。