[发明专利]基于合作网络视线估计方法

权利要求书

1.基于合作网络视线估计方法，其特征在于，包括以下步骤：

S1，首先对输入图像进行预处理，具体为利用MTCNN算法多任务级联的卷积神经网络进行人脸检测与人脸关键点定位，得到人脸信息，并通过人脸关键点得到双眼位置信息；

S2，将得到的人脸信息作为输入，利用基于空间权重的卷积神经网络估计头部姿态；

S3，将双眼和面部图像作为输入分别搭建C-Net和I-Net，C-Net为一致性估计网络，用于估计视线的主要方向；I-Net为不一致性估计网络，用于估计双眼方向的剩余残差。并其中I-Net的输入只包含双眼图像；

S4，利用C-Net网络，在C-Net中加入估计S2到的头部姿态，通过训练，预测眼睛的一致性；

S5，利用预测出的一致性通过交叉注意力模块对I-Net预测出的不一致性进行指导，从而获取双眼视线方向。

2.根据权利要求1所述的基于合作网络视线估计方法，其特征在于，所述步骤S1利用MTCNN算法多任务级联的卷积神经网络进行人脸检测与人眼区域定位，并提取人眼特征信息，具体包括：

MTCNN通过三个阶段相互独立的网络结构级联而成，每个阶段的网络都是一个多任务网络，包括P-Net、R-Net和O-Net三个子网络，分别处理三个任务，人脸/非人脸判断、人脸框回归和五个人脸特征点回归；

对于人脸图像采用MTCNN算法进行人脸检测的同时实现瞳孔中心粗定位定位，并通过图像梯度法对瞳孔中心进行二次定位，从而获取准确的瞳孔中心位置。

3.根据权利要求2所述的基于合作网络视线估计方法，其特征在于，

基于图像梯度法瞳孔定位是利用图像梯度向量场的向量方向在瞳孔中心相交的原理，计算图像的各个点的梯度向量和位置向量的内积，找到平均值最大的点的作为瞳孔中心点，但该方法容易受到某些图像边缘梯度变化同样明显的眉毛等干扰区域的影响，因此，在MTCNN对瞳孔中心粗定位的前提下，使用图像梯度法能获取更准确的瞳孔中心位置。

4.根据权利要求2所述的基于合作网络视线估计方法，其特征在于，所述步骤S2利用基于空间权重的卷积神经网络估计头部姿态，具体包括：

在普通VGG-16网络中嵌入一个空间权重模块，空间权重模块主要包括三个1×1的卷积层和Relu层，得到权重得分图，最后将输入特征图与权重得分图相乘以达到特征图权重再分配的目的。

5.根据权利要求4所述的基于合作网络视线估计方法，其特征在于，所述S3，将双眼和面部图像作为输入分别搭建一致性估计网络C-Net和不一致性估计网络I-Net，具体包括：

C-Net一致性估计网络，C-Net的主干网络主要包括5个常规卷积层与四个膨胀卷积层，将人脸图像与双眼图像作为输入，在第四层膨胀卷积层后面加入Fca-block模块，用于人脸图像与双眼图像高级特征的权重再分配，最终得到双眼视线方向的主要方向；I-Net不一致性估计网络，I-Net的主干网络主要包括5个常规卷积层与四个膨胀卷积层，与C-Net同，I-Net只输入双眼图像，在不加入Fca-block模块的情况下加入交叉注意力模块，交叉注意力模块主要是通过C-Net提取到的高质量的一致性来指导修正I-Net中剩余残差，最终合作得到准确的双眼视线方向；

采用基于卷积神经网络的方法，将3×64×96的眼睛图像和3×96×96面部图像I作为输入，其中3表示眼睛图像的通道数，64×96表示眼睛图像的大小，96×96表示面部图像的大小；对图像进行预处理后，应用到卷积层，并将得到的特征图谱输入全连接层，最后在全连接层通过训练一个线性回归得到初步视线方向，CI-Net的损失函数为：

其中，g^*表示真实的视线角度，g表示预测的视线角度，g_t,分别表示预测到的一致性方向，左眼剩余残差，右眼剩余残差。w_t，w_l，w_r是用来平衡主要方向和剩余残差之间的权重，其中，w_t＝0.5，w_l＝0.25，w_r＝0.25。