[发明专利]一种用于辅助驾驶的视线检测方法、装置及存储介质

权利要求书

1.一种用于辅助驾驶的视线检测方法，其特征在于，包括以下步骤：通过相机采集数据，使得被采集人员的视线跟随目标物体移动，获得人眼跟随目标物体移动的图像；

根据获得的人眼跟随目标物体移动的图像，计算视线方向数据；

构建视线检测模型，所述视线检测模型包括眼球模型推理模块和视线回归模块，将图像输入眼球模型推理模块，输出眼球二值图，所述眼球二值图包括眼球轮廓和瞳孔轮廓，将眼球二值图输入视线回归模块，输出推理的视线方向；

由采集的人眼随目标物体移动的图像和计算得到的视线方向数据构建视线数据集，通过视线数据集训练所述视线检测模型，直至模型收敛，获得训练好的视线检测模型；

将采集的待检测的人眼的图像输入训练好的视线检测模型，输出待检测的人眼的视线方向。

2.根据权利要求1所述的一种用于辅助驾驶的视线检测方法，其特征在于，所述的通过相机采集数据，包括：将红外相机和深度相机放置在同一水平面内，在被采集人员面前摆放目标物体，移动目标物体，被采集人员通过人眼观察目标物体，视线跟随目标物体移动，通过红外相机和深度相机同步采集图像，使得目标物体移动的轨迹铺满图像的整个区域。

3.根据权利要求2所述的一种用于辅助驾驶的视线检测方法，其特征在于，所述的被采集人员通过人眼观察目标物体，包括：被采集人员的头部姿势，维持面部朝向一个方向不变，移动目标物体，被采集人员通过人眼观察目标物体，视线跟随目标物体移动，通过红外相机和深度相机采集图像，使得目标物体移动的轨迹铺满图像的整个区域。

4.根据权利要求2所述的一种用于辅助驾驶的视线检测方法，其特征在于，所述的被采集人员通过人眼观察目标物体，包括：被采集人员的视线跟随目标物体移动，被采集人员的头部与视线的方向一致，随目标物体一起移动，通过红外相机和深度相机采集图像，使得目标物体移动的轨迹铺满图像的整个区域。

5.根据权利要求3或4所述的一种用于辅助驾驶的视线检测方法，其特征在于，通过红外相机和深度相机采集图像中，至少包括左上方、上方、右上方、左方、前方、右方、左下方、下方和右下方的面部朝向的图像。

6.根据权利要求1所述的一种用于辅助驾驶的视线检测方法，其特征在于，所述的根据获得的人眼随目标物体移动的图像，计算视线方向数据，包括：获取人眼的瞳孔中心在深度相机坐标系下的坐标，通过深度相机和红外相机的坐标系转换关系，得到瞳孔中心在红外相机坐标系下的坐标，获取目标物体在深度相机坐标系下的坐标，通过深度相机和红外相机的坐标系转换关系，得到目标物体在红外相机坐标系下的坐标，将瞳孔中心坐标减去目标物体坐标，获视线向量，用于表示视线方向。

7.根据权利要求1所述的一种用于辅助驾驶的视线检测方法，其特征在于：所述目标物体采用球形物体。

8.根据权利要求6所述的一种用于辅助驾驶的视线检测方法，其特征在于，所述的获取人眼的瞳孔中心在深度相机坐标系下的坐标，包括：通过深度相机的拍摄获得瞳孔的深度信息Zc，通过图像标注，获得瞳孔中心在图像坐标系的坐标(u，v)，根据图像坐标与深度相机坐标的转换公式：

其中，的深度相机的内参矩阵，获得瞳孔中心在深度相机坐标系下的坐标(Xc，Yc，Zc)。

9.根据权利要求6所述的一种用于辅助驾驶的视线检测方法，其特征在于，所述的深度相机和红外相机的坐标系转换关系，通过如下步骤得到：对红外相机和深度相机进行双目标定，得到平移矩阵T和旋转矩阵R，同一个坐标点在深度相机坐标系下和红外相机坐标系下的转换关系，表示为P₁＝R*P₂+T，其中，P1是红外相机坐标系下的坐标点，P2是深度相机坐标系下的坐标点。