[发明专利]基于合作网络视线估计方法

说明书

本发明请求保护一种基于合作网络的视线估计方法，该方法包括步骤：S1，对人脸图像进行预处理，利用MTCNN算法进行人脸检测与人眼区域定位，并提取人眼特征信息；S2，利用基于空间权重的卷积神经网络估计头部姿态；S3，将双眼和面部图像作为输入搭建合作网络CI‑Net；S4，利用C‑Net网络，通过训练，预测眼睛的一致性；S5，利用预测出的一致性通过交叉注意力模块对I‑Net预测出的不一致性进行指导，从而获取双眼视线方向。通过在公开数据集Eyediap和MPIIGaze上进行验证，结果表明，在面部遮挡和双眼不同外观的情况下，CI‑Net比当前主流的CNN算法具有更低的角误差。

技术领域

本发明属于图像处理与模式识别领域，特别是一种基于合作网络的视线估计方法。

背景技术

视线估计是预测视线方向、定位注视点位置的过程。视线估计是计算机视觉领域中的一个重要研究课题，从科学研究到商业应用都有重要的应用价值，在人机交互、教育、商业应用等领域都能发挥不可替代的作用。近年来，得益于深度学习和卷积神经网络的发展和应用，基于外观的视线估计取得了重大的突破。基于外观的方法直接学习从眼睛外观到视线方向的映射函数。他们可以使用一个普通RGB摄像头，在没有明确眼睛特征检测的情况之下估计视线方向，但是由于多变的头部姿态，面部遮挡，光照条件的问题，使得映射函数难以学习，从而大大降低了视线估计的准确率。最近基于CNN的方法大大提高了准确度，然而还不能满足实际需求。我们在几个广泛使用的数据集中发现了大量低质量图像，这些低质量图像会降低视线估计的准确率。在视线估计和数据收集过程中，难免会因为头部姿态，面部遮挡，光照条件等问题而引起的低质量图像。

申请公开号CN113506328A，一种视线估计模型的生成方法和装置、视线估计方法和装置、计算机可读存储介质及电子设备，其中，该方法包括：通过待训练的视线估计模型中的主干网络对样本眼部图像进行预测，得到预测眼部特征；通过待训练的视线估计模型中的重构网络对预测眼部特征进行视线方向预测，得到预测视线方向；基于预测视线方向和标注视线方向确定第一损失函数的参数；基于预测眼部特征和标注眼部特征确定第二损失函数的参数；基于第一损失函数和第二损失函数，训练视线估计模型。本公开实施例实现了将视线预测任务分解为两个预测任务，使训练得到的视线预测模型进行视线预测的过程更加细化，预测精度更高，对使用场景的适应性更佳。

该专利能在一定程度上提升视线估计的准确率，对于高质量图像有良好的估计结果，但是这种方法选择无差别的使用输入特征，忽略了低质量图像对视线估计的影响，而这种劣质图像不仅会影响双眼提取出的一致性，还会影响到单眼视线方向，对于自然场景视线估计鲁棒性差。而本发明则采用注意力机制，有选择地增强和削弱输入特征，对于对视线估计重要的部分分配更大的权重，对于输入劣质图像则分配小的权重。其次，该专利在双眼外观不同的情况下，无法获取准确的双眼视线方向，在自然环境下，由于光照的不同，两只眼睛的外观也存在差异，但总体而言双眼视线方向大体上是一致的，本发明则显式提取这种一致性，并用这种一致性分别指导双眼视线方向的获取。

发明内容

本发明旨在解决以上现有技术的问题。提出了基于合作网络视线估计方法。本发明的技术方案如下：

基于合作网络视线估计方法，其包括以下步骤：

S1，首先对输入图像进行预处理，具体为利用MTCNN算法(多任务级联的卷积神经网络)进行人脸检测与人脸关键点定位，得到人脸信息，并通过人脸关键点得到双眼位置信息；

S2，利用基于空间权重的卷积神经网络估计头部姿态；

S3，将双眼和面部图像作为输入分别搭建C-Net和I-Net，C-Net为一致性估计网络，用于估计视线的主要方向；I-Net为不一致性估计网络，用于估计双眼方向的剩余残差。并其中I-Net的输入只包含双眼图像；

S4，利用C-Net网络，在C-Net中加入估计到的头部姿态，通过训练，预测眼睛的一致性；