[发明专利]一种用于视线估计的卷积神经网络设计方法

权利要求书

1.一种用于视线估计的卷积神经网络设计方法，其特征在于，包括如下步骤：

步骤1，设计用于对人脸左眼的区域进行特征提取的左眼特征提取网络，以及设计对人脸右眼的区域进行特征提取的右眼特征提取网络，设计用于对左眼提取的特征和右眼提取的特征进行融合的左眼右眼特征融合网络；

步骤2，设计用于对人脸区域的图像进行特征提取的人脸特征提取网络，所述人脸区域的图像通过采用人脸检测技术从相机拍摄的图像中获取；

步骤3，设计用于对人脸相对位置网格进行特征提取的网格特征提取网络，所述人脸相位位置网格为一与相机拍摄的图像大小相同的网格，将该网格中对应相机拍摄的图像中的人脸区域的部分网格设置为黑色，其余部分网格为白色；

步骤4，设计用于对人眼、人脸和网格特征进行融合的融合网络，该融合网络对步骤1、步骤2和步骤3各自对应的网络的输出结果进行融合，从而实现视线估计。

2.根据权利要求1所述用于视线估计的卷积神经网络设计方法，其特征在于，步骤1所述左眼特征提取网络包括依次连接的第一至第四卷积层：第一卷积层的卷积核大小为11*11，卷积核数量为94，步长为4，使用relu激活；第二卷积层的卷积核大小为5*5，卷积核数量为256，步长为1，使用relu激活；第三卷积层的卷积核大小为3*3，卷积核数量为384，步长为1，使用relu激活；第四卷积层的卷积核大小为1*1，卷积核数量为64，步长为1，使用relu激活；右眼特征提取网络包括依次连接的第五至第八卷积层：第五卷积层与第一卷积层相同，第六卷积层与第二卷积层相同，第七卷积层与第三卷积层相同，第八卷积层与第四卷积层相同。

3.根据权利要求1所述用于视线估计的卷积神经网络设计方法，其特征在于，步骤1所述左眼右眼特征融合网络包括第一全连接层，且第一全连接层的通道数为128。

4.根据权利要求1所述用于视线估计的卷积神经网络设计方法，其特征在于，步骤1所述人脸左眼的区域为第一矩形区域，该第一矩形区域的长为左眼的长度，宽为左眼的宽度；人脸右眼的区域为第二矩形区域，该第二矩阵区域的长为右眼的长度，宽为右眼的宽度。

5.根据权利要求1所述用于视线估计的卷积神经网络设计方法，其特征在于，步骤2所述人脸特征提取网络包括依次连接的第九卷积层至第十二卷积层，与第十二卷积层连接的第二全连接层以及与第二全连接层连接的第三全连接层，第九卷积层的卷积核大小为11*11，卷积核数量为94，步长为4，使用relu激活；第十卷积层的卷积核大小为5*5，卷积核数量为256，步长为1，使用relu激活；第十一卷积层的卷积核大小为3*3，卷积核数量为384，步长为1，使用relu激活；第十二卷积层的卷积核大小为1*1，卷积核数量为64，步长为1，使用relu激活；第二全连接层的通道数为128，第三全连接层的通道数为64。

6.根据权利要求1所述用于视线估计的卷积神经网络设计方法，其特征在于，步骤3所述网格特征提取网络包括依次连接的第四全连接层、第五全连接层，第四全连接层的通道数为256，第五全连接层的通道数为128。

7.根据权利要求1所述用于视线估计的卷积神经网络设计方法，其特征在于，步骤4所述融合网络包括依次连接的第六全连接层、第七全连接层，第六全连接层的通道数为128，第七全连接层的通道数为2。