[发明专利]一种用于视线估计的卷积神经网络设计方法

说明书

本发明公开了一种用于视线估计的卷积神经网络设计方法，具体为：设计用于对人脸左眼、右眼的区域进行特征提取的左眼、右眼特征提取网络，以及用于对左眼提取的特征和右眼提取的特征进行融合的左眼右眼特征融合网络；设计用于对人脸区域的图像进行特征提取的人脸特征提取网络；设计用于对人脸相对位置网格进行特征提取的网格特征提取网络，其中，人脸相位位置网格为一与相机拍摄的图像大小相同的网格，将该网格中对应相机拍摄的图像中的人脸区域的部分网格设置为黑色，其余部分网格为白色；设计用于对人眼、人脸和网格特征进行融合的融合网络，从而实现视线估计。本发明设计的方法无需对摄像头进行标定，可以在不同的环境和场合下使用。

技术领域

本发明涉及一种用于视线估计的卷积神经网络设计方法，属于图像识别领域。

背景技术

眼球估计是一项科学应用技术，用户无需触摸屏幕即可翻动页面。从原理上看，眼球追踪主要是研究眼球运动信息的获取、建模和模拟，用途颇广。而获取眼球运动信息的设备除了红外设备之外，还可以是图像采集设备，甚至一般电脑或手机上的摄像头，其在软件的支持下也可以实现眼球跟踪。

现有方法多是在传统机器视觉算法的基础上进行视线估计，该方法需要对摄像头进行标定，且摄像头的位置不能随意的移动。

发明内容

本发明所要解决的技术问题是：提供一种用于视线估计的卷积神经网络设计方法，该方法无需对摄像头进行标定，可以在不同的环境和场合下使用。

本发明为解决上述技术问题采用以下技术方案：

一种用于视线估计的卷积神经网络设计方法，包括如下步骤：

步骤1，设计用于对人脸左眼的区域进行特征提取的左眼特征提取网络，以及设计对人脸右眼的区域进行特征提取的右眼特征提取网络，设计用于对左眼提取的特征和右眼提取的特征进行融合的左眼右眼特征融合网络；

步骤2，设计用于对人脸区域的图像进行特征提取的人脸特征提取网络，所述人脸区域的图像通过采用人脸检测技术从相机拍摄的图像中获取；

步骤3，设计用于对人脸相对位置网格进行特征提取的网格特征提取网络，所述人脸相位位置网格为一与相机拍摄的图像大小相同的网格，将该网格中对应相机拍摄的图像中的人脸区域的部分网格设置为黑色，其余部分网格为白色；

步骤4，设计用于对人眼、人脸和网格特征进行融合的融合网络，该融合网络对步骤1、步骤2和步骤3各自对应的网络的输出结果进行融合，从而实现视线估计。

作为本发明的一种优选方案，步骤1所述左眼特征提取网络包括依次连接的第一至第四卷积层：第一卷积层的卷积核大小为11*11，卷积核数量为94，步长为4，使用relu激活；第二卷积层的卷积核大小为5*5，卷积核数量为256，步长为1，使用relu激活；第三卷积层的卷积核大小为3*3，卷积核数量为384，步长为1，使用relu激活；第四卷积层的卷积核大小为1*1，卷积核数量为64，步长为1，使用relu激活；右眼特征提取网络包括依次连接的第五至第八卷积层：第五卷积层与第一卷积层相同，第六卷积层与第二卷积层相同，第七卷积层与第三卷积层相同，第八卷积层与第四卷积层相同。

作为本发明的一种优选方案，步骤1所述左眼右眼特征融合网络包括第一全连接层，且第一全连接层的通道数为128。

作为本发明的一种优选方案，步骤1所述人脸左眼的区域为第一矩形区域，该第一矩形区域的长为左眼的长度，宽为左眼的宽度；人脸右眼的区域为第二矩形区域，该第二矩阵区域的长为右眼的长度，宽为右眼的宽度。