[发明专利]一种差分式二维注视点检测方法及装置

权利要求书

1.一种差分式二维注视点检测方法，其特征在于，所述方法包括以下步骤：

S1：获取屏幕预设的校准点的坐标，以及测试者注视所述校准点的校准图片；其中，所述校准图片中包括测试者的人脸图像；

S2：获取所述测试者注视待检测点的待检测图片，其中，所述待检测图片中包括所述测试者的人脸图像；

S3：将得到的所述校准图片、所述校准点的坐标以及所述待检测图片输入至深度神经网络的特征提取层；通过所述特征提取层对图片进行人脸特征提取、双目特征提取；提取后得到待检测图片特征向量以及校准图片特征向量；

获取人脸边框构成的向量；将双目特征向量和双目边框的坐标、人脸边框构成的向量进行串联，构成校准图片特征向量以及待检测图片特征向量；

S4：将待检测图片特征向量以及校准图片特征向量送入多层感知机，输出待检测注视点与校准点的物理相对位移；将相对位移与校准点的位置进行叠加，得到预测结果。

2.根据权利要求1所述的差分式二维注视点检测方法，其特征在于，所述获取屏幕预设的校准点的坐标，以及测试者注视所述校准点的校准图片，包括：

S11：设定屏幕的坐标（0.0）点，并在屏幕上预设校准点，确定校准点的坐标；

S12：采集测试者注视屏幕上的校准图像的面部图片；

S13：获取屏幕上校准点的坐标，输出一张校准图片。

3.根据权利要求1所述的差分式二维注视点检测方法，其特征在于，所述获取所述测试者注视待检测点的待检测图片，包括：

S21：采集测试者注视屏幕上的检测点的面部图片；

S22：通过采集到的测试者面部图片，输出一张待检测图片。

4.根据权利要求1所述的差分式二维注视点检测方法，其特征在于，所述将得到的所述校准图片、所述校准点的坐标以及所述待检测图片输入至深度神经网络的特征提取层；通过所述特征提取层对图片进行人脸特征提取、双目特征提取，包括：

S31：通过人脸检测模块，使用TengineKit工具库对图片进行人脸检测，得到测试者的人脸边框以及双目位置的关键点；根据双目位置的关键点，得到双目边框的坐标，切割出双目位置的图片，通过矩形框分别框出两个单目的位置，并确定双目位置的图片在原始图片中的面积占比；

S32：通过卷积神经网络的特征提取模块，输入双目位置的图片、双目边框的坐标以及双目位置的图片在原始图片中的面积占比；通过卷积神经网络对双目位置的图片进行特征提取，输出双目特征向量；并获取待检测图片特征向量以及校准图片特征向量。

5.根据权利要求1所述的差分式二维注视点检测方法，其特征在于，步骤S4之后还包括：

S5：重复n次执行S1-S4，得到n个预测结果，确定n个预测结果分别对应的权重值，对n个预测结果进行加权求和，得到基于多个校准点的综合预测结果。

6.根据权利要求5所述的差分式二维注视点检测方法，其特征在于，所述重复n次执行S1-S4，得到n个预测结果，确定n个预测结果分别对应的权重值，对n个预测结果进行加权求和，得到基于多个校准点的综合预测结果，包括：

S51：重复执行n次S1-S4，根据n张校准图片、n个校准点的坐标以及1张待检测图片，得到n个校准图片的特征向量以及1张待检测图片的特征向量，生成n个预测结果；

S52：将所述n个校准图片的特征向量以及1张待检测图片的特征向量输入多层感知机，得到所述n个预测结果分别对应的权重值；

S53：将所述n个预测结果以及分别对应的权重值输入聚合层，对各个预测结果进行加权求和，得到基于多个校准点的综合预测结果。