[发明专利]眼球追踪方法、装置及存储介质

说明书

本申请实施例提供一种眼球追踪方法、装置及存储介质，包括：将灰度图像和深度图像进行预处理，得到预设坐标系下的目标的灰度‑深度图像；对所述目标的灰度‑深度图像进行人头检测，以得到所述目标的头部的灰度‑深度图像；对所述目标的头部的灰度‑深度图像进行人脸重建处理，以得到所述目标的人脸信息；根据所述人脸信息得到所述目标的瞳孔位置。本方案基于目标的灰度图像和深度图像得到目标的点云，通过进行人头检测进而得到目标的头部的点云，根据目标的头部的点云进行人脸重建处理，进而得到目标的瞳孔位置。采用该手段，基于灰度图像和深度图像两个维度的信息对目标的人脸进行重建，能够实时获取精准的视线起始点。

技术领域

本申请涉及图像处理技术领域，尤其涉及一种眼球追踪方法、装置及存储介质。

背景技术

视线估计技术是人机交互中一种理解人类意图的重要技术，可以应用于游戏交互、医疗诊断(心理类疾病)、座舱内驾驶员意图分析等场景。视线起始点(即眼球位置)、视线方向是组成视线估计的两个重要模块，这两个模块结合场景环境的三维建模，可以获得用户视线的关注点(Point of Regard，PoR)，从而更为精准地了解用户的意图，完成交互。

目前在确定眼球位置时使用单目摄像头来估计视线起始点在三维空间中的位置，其使用先验和相机成像模型估算人眼与摄像头距离。采用该技术，一般在正常驾驶距离情况下，深度误差在2-3厘米(cm)，其无法满足更高精度要求的场景，例如车载场景中点亮中控屏。且起始点2-3cm的误差，会在相应的方向上造成预测到的PoR有较大误差，尤其是随着注视物体距离离用户越远，视线方向与物体交点与真实值差距会越来越大，这就无法满足视线与车外物体交互的需求。

目前还有采用深度传感器的方法来确定眼球位置，其先利用深度数据离线做基于优化的人脸重建，在部署时，利用该重建的人脸模型与实时获取的点云数据进行迭代最近点算法处理，获取当前的人脸6个自由度的姿态，从而获取到眼球的三维位置。采用该技术，需要离线注册以获取用户的人脸网格信息，同时当人脸表情变化幅度较大时迭代最近点算法配准误差较大。因此，现有技术无法应对开放的环境和实际的车载场景。

发明内容

本申请实施例提供一种眼球追踪方法、装置及存储介质，以提高眼球追踪的精度。

第一方面，本申请实施例提供一种眼球追踪方法，包括：将灰度图像和深度图像进行预处理，得到预设坐标系下的目标的灰度-深度图像，其中，所述灰度图像和所述深度图像中均包含所述目标的头部信息；对所述目标的灰度-深度图像进行人头检测，以得到所述目标的头部的灰度-深度图像；对所述目标的头部的灰度-深度图像进行人脸重建处理，以得到所述目标的人脸信息；根据所述人脸信息得到所述目标的瞳孔位置。

通过本申请实施例，基于目标的灰度图像和深度图像得到目标的灰度-深度图像，通过进行人头检测进而得到目标的头部的灰度-深度图像，根据目标的头部的灰度-深度图像进行人脸重建处理，进而得到目标的瞳孔位置。采用该手段，基于灰度图像和深度图像两个维度的信息对目标的人脸进行重建，能够实时获取精准的视线起始点。

作为一种可选的实现方式，所述对所述目标的头部的灰度-深度图像进行人脸重建处理，以得到所述目标的人脸信息，包括：对所述目标的头部的灰度-深度图像进行特征提取，得到所述目标的灰度特征和深度特征；将所述目标的灰度特征和深度特征进行融合处理，得到所述目标的人脸模型参数；根据所述目标的人脸模型参数得到所述目标的人脸信息。

通过融合目标的灰度特征和深度特征，得到所述目标的人脸模型参数，进而得到所述目标的人脸信息。该目标的人脸模型参数融合了灰度特征和深度特征，和现有技术中仅包含灰度特征相比，本方案包含的特征更加全面，可有效提高眼球追踪的精度。

作为一种可选的实现方式，所述对所述目标的头部的灰度-深度图像进行人脸重建处理是通过人脸重建网络模型处理的。