[发明专利]一种实时检测眼球注意力位置的方法及系统

权利要求书

1.一种实时检测眼球注意力位置的方法，其特征在于：包括以下步骤，

图像采集模块(100)分别获取人物对象的原始图片；

所述原始图片输入opencv经过分割计算后输出输入数据；

根据所述输入数据对应构建神经网络结构模型(200)；

采集标注训练数据；

所述训练数据输入所述神经网络结构模型(200)中进行模型训练并完成模型的训练参数设置；

预测结果处理模块(300)将所述神经网络结构模型(200)生成的预测结果还原为原尺寸，所述眼球注意力位置返回以所述图像采集模块(100)为原点的直角坐标中的位置。

2.如权利要求1所述的实时检测眼球注意力位置的方法，其特征在于：所述输入数据包括以下获取步骤，

将所述原始图片经过opencv的haarcascade模型分割出左眼、右眼和脸部3幅图片，并同时计算出人脸在画面中所占的位置；

将所述左眼图片、所述右眼图片、所述脸部图片和所述脸部网格共4个输入数据传递至所述神经网络结构模型(200)。

3.如权利要求1或2所述的实时检测眼球注意力位置的方法，其特征在于：输入opencv的图片为所述图像采集模块(100)采集到的所述原始图片，且所述原始图片的分辨率1920x1080，以及通道数分别为(r、g、b)3个。

4.如权利要求3所述的实时检测眼球注意力位置的方法，其特征在于：所述神经网络结构模型(200)包括以下构建步骤，

所述原始图片的数据获取；

所述神经网络结构模型(200)的输入数据准备；

构建所述神经网络结构模型(200)神经网络结构单元。

5.如权利要求4所述的实时检测眼球注意力位置的方法，其特征在于：所述左眼、右眼的图片分割获取包括将所述原始图片输入opencv的haarcascade_eye眼部识别单元，得到左右眼的两组x、y、w、h坐标，根据坐标切割出左右眼两幅图片。

6.如权利要求4或5所述的实时检测眼球注意力位置的方法，其特征在于：所述脸部图片分割获取包括将所述原始图片输入opencv的haarcascade_frontface面部识别单元，获取面部的x、y、w、h四个坐标，根据坐标切割出面部图片。

7.如权利要求6所述的实时检测眼球注意力位置的方法，其特征在于：所述脸部网格的获取包括将所述原始图片平均分成5x5的网格，每个网格中若面部占比超过50％，则将该网格位置标注为1否则标注为0，得到大小为5x5的面部位置mask。

8.如权利要求7所述的实时检测眼球注意力位置的方法，其特征在于：所述神经网络结构单元包括左右特征提取网络结构、面部特征提取网络结构和特征合并，其中所述特征合并包括将左、右眼特征图拉直、再将面部特征图拉直以及脸部位置mask结果拉直，将四者合并最终输出二维结果，代表所述眼球注意力位置为原点坐标系上的x和y。

9.如权利要求7或8所述的实时检测眼球注意力位置的方法，其特征在于：所述标注训练数据包括以下采集步骤，

采用方格板作为标尺；

采集观测者面部图片，观测者每次注释方格板中的一个点，拍摄观测者面部照片的同时，记录下其所注释的格子，所述方格板共计30个格子，每人采集30张面部照片和对应的格子位置；

随机选取10名观测者，重复上述操作，得到300张1920x1080分辨率的图片和同样数量的相对应的格子位置；

将图片保存在img目录下，格子位置换算成坐标系后保存在label目录下。

10.一种实时检测眼球注意力位置的系统，其特征在于：包括图像采集模块(100)、神经网络结构模型(200)和预测结果处理模块(300)；

所述图像采集模块(100)用于分别获取人物对象的原始图片后构建所述神经网络结构模型(200)；

所述神经网络结构模型(200)用于将输入的人物对象的眼球注意力输出为预测结果；

所述预测结果处理模块(300)接收的所述预测结果，用于将所述眼球注意力位置返回以所述图像采集模块(100)为原点的直角坐标中的位置。