[发明专利]一种视线方向的确定方法、装置、电子设备及存储介质

说明书

本申请实施例所公开的一种视线方向的确定方法、装置、电子设备及存储介质，包括获取多个目标特征点对应的多个第一目标特征点位置数据和目标瞳孔对应的第一目标瞳孔位置数据，并根据多个第一目标特征点位置数据和位置确定模型，确定目标眼球位置数据，其中，位置确定模型是根据第一标定位置数据、多个第一标定特征点位置数据和第一标定瞳孔位置数据确定的，以及根据第一目标瞳孔位置数据和目标眼球位置数据，确定视线方向。基于本申请实施例从脸部图像中筛选出与眼球中心位置密切相关的特征点，利用仅与受试者本身脸部特征相关的参数确定位置确定模型，可以不受外部环境和受试者面部表情等因素的影响，从而可以提高视线方向估计的精度。

技术领域

本发明涉及视线估计技术领域，尤其涉及一种视线方向的确定方法、装置、电子设备及存储介质。

背景技术

目前，主要通过研究人视线变化时头部姿态和眼睛的对应变化来进行视线估计，现有视线估计方法包括：一、在红外照明条件下，根据红外光源在受试者角膜表面形成的普尔钦斑的位置确定视线方向；二、在自然光照条件下，建立几何模型以眼球中心与瞳孔中心的连线作为视线方向。

在第一种视线估计方法中，为了保证在角膜区域发生折射，需要限制受试者的眼球转动幅度，即将受试者的头部运行限制在一定的范围内，这不符合受试者在自然场景中的视线表达，即第一种视线估计方法的应用场景具有局限性。在第二种视线估计方法中，对于眼球中心位置的检测较为困难，单纯利用图像无法直接确定眼球中心位置，现有技术提出了通过确定人脸关键点，并计算人脸关键点与预设平均脸模型间的仿射变化确定头部位姿，进而间接确定眼球中心位置。然而，由于人脸的五官表征具有较大的差异性，对不同的受试者进行视线估计时，采用平均脸模型将使得结果与实际情况存在较大的误差，难以保证确定的眼球中心位置的精度。

发明内容

本申请实施例提供了一种视线方向的确定方法、装置、电子设备及存储介质，可以不受外部环境和受试者面部表情等因素的影响，从而可以提高视线方向估计的精度。

本申请实施例提供了一种视线方向的确定方法，包括：

获取多个目标特征点对应的多个第一目标特征点位置数据和目标瞳孔对应的第一目标瞳孔位置数据；

根据多个第一目标特征点位置数据和位置确定模型，确定目标眼球位置数据；位置确定模型是根据第一标定位置数据、多个第一标定特征点位置数据和第一标定瞳孔位置数据确定的；

根据第一目标瞳孔位置数据和目标眼球位置数据，确定视线方向。

进一步地，还包括：

获取标定对象的第一标定位置数据、多个标定特征点对应的多个第一标定特征点位置数据和标定瞳孔对应的第一标定瞳孔位置数据；

根据多个第一标定特征点位置数据，确定标定眼球位置数据；

根据第一标定位置数据、第一标定瞳孔位置数据和标定眼球位置数据，确定位置确定模型。

进一步地，根据第一标定位置数据、第一标定瞳孔位置数据和标定眼球位置数据，确定位置确定模型，包括：

根据第一标定位置数据和第一标定瞳孔位置数据，确定第一向量；

根据第一标定瞳孔位置数据和标定眼球位置数据，确定第二向量；

根据第一向量和第二向量，确定关联参数；

基于关联参数，确定位置确定模型。

进一步地，获取多个标定特征点对应的多个第一标定特征点位置数据和标定瞳孔对应的第一标定瞳孔位置数据，包括：

获取双目相机的第一坐标转换数据、双目相机的内参数据、标定脸部图像中多个标定特征点对应的多个第二标定特征点位置数据和标定脸部图像中标定瞳孔对应的第二标定瞳孔位置数据；