[发明专利]一种像素级精度的人眼注视点定位方法

权利要求书

1.一种像素级精度的人眼注视点定位方法，其特征在于，包括下列步骤：

步骤S1，构建人脸关键点检测以及姿态估计网络模型，使用自动搜索网络为主网络，自定义网络为分支网络组成的网络结构构建关键点与姿态估计模型，并对所述态数据与关键点数据作为loss计算权重；

步骤S2，计算目标人物在图像中偏移量和头部姿态，使用3D关键点模型计算头部姿态，使用2D关键模型模计算目标人物在图像中偏移量，并提取眼部区域；

步骤S3，利用瞳孔关键点在所述眼部区域的偏移量，计算目标人物的视场角度：使用虹膜分割网络和2D瞳孔关键确定瞳孔中心位置，并根据所述眼部区域的2D关键点数据，计算所述瞳孔关键点在眼部区域的偏移量，进而计算所述目标人物的视场角度；

步骤S4，根据相机视场角计算所述目标人物所在空间平面：根据头部姿态和注视方向的角度，计算所述相机目标空间平面的注视点坐标；

步骤S5，根据所述步骤S4计算的注视点空间坐标，映射到显示图像的像素上。

2.根据权利要求1所述的一种像素级精度的人眼注视点定位方法，其特征在于，所述构建人脸关键点检测以及姿态估计网络模型，通过选取基础网络resnet18网络作为backbone(主干网络)，回归468个3D人脸关键点，构建人脸关键点和头部姿态数据，选取98关键点数据集为基础，利用3D关键点模型计算头部姿态，并将所述姿态数据与98关键点数据保存为新的数据集。

3.根据权利要求1所述的一种像素级精度的人眼注视点定位方法，其特征在于，所述自定义网络为分支网络组成的网络结构构建关键点与姿态估计模型，通过选取基础网络EfficientNets作为主干网络，并自定义轻量型分支网络回归所述头部姿态。

4.根据权利要求1所述的一种像素级精度的人眼注视点定位方法，其特征在于，所述态数据与关键点数据作为loss计算权重，加入训练，并将眼所述部区域的关键点集合进行Hausdorff距离，增加所述眼睛部分关键点的权重loss计算方法，其公式如下：

其中，M为样本个数，N为全部特征点个数，W为所述眼部关键点的个数，θ为所述人脸姿态的三维欧拉角(K＝3)，d为回归的landmark和groundtrue(即预测值与标定值)之间的欧氏距离，H为眼部landmark和groundtrue的Hausdorff距离。

5.根据权利要求1所述的一种像素级精度的人眼注视点定位方法，其特征在于，所述计算目标人物在图像中头部姿态，对所述人脸图像进行关键点预测，利用所述3D人脸关键点集合求得头部姿态的欧拉角ψ。

6.根据权利要求1所述的一种像素级精度的人眼注视点定位方法，其特征在于，所述计算目标人物在图像中的偏移量，所述偏移量β计算公式如下：

β＝((C_left+C_right)/2)/C_image

其中，C_left为左包围盒中心坐标，C_left为右包围盒中心坐标，C_image为原始图像C_right右下角坐标。

7.根据权利要求1所述的一种像素级精度的人眼注视点定位方法，其特征在于，计算所述瞳孔关键点在眼部区域的偏移量，计算公式如下：

α＝(M-P)/E

其中，α为所述瞳孔关键点在眼部区域的偏移量，M为瞳孔中心点，P为内外眼角连线的中心点作为坐标原点，E为眼部边界关键点确定的区域。

8.根据权利要求1所述的一种像素级精度的人眼注视点定位方法，其特征在于，所述计算所述目标人物的视场角度，其计算公式如下：

θ＝arctan(X/h)

其中，φ为眼睛的已知视场角，则h近似等于获取目标人物距离摄像头的距离，θ为注视方向的角度，X为注视对象所在平面的实际偏移量。