[发明专利]一种基于深度投票机制的端到端瞳孔中心定位方法

说明书

本发明涉及一种基于深度投票机制的端到端瞳孔中心定位方法，属于计算机视觉应用领域。该方法包括：S1：获取包含人脸的图像集，并对图像集进行标注，然后将标注后的图像集分为训练集和测试集；S2：构建瞳孔中心定位模型，并将训练集输入模型进行训练；S3：将测试集中的待定位图像输入训练好的瞳孔中心定位模型，得到最终的瞳孔中心定位坐标。本发明通过将卷积神经网络和经典视觉中的投票机制相结合，在保持高精度定位的同时，实现了端到端的数据流处理。

技术领域

本发明属于计算机视觉应用领域，涉及一种基于深度投票机制的端到端瞳孔中心定位方法。

背景技术

瞳孔中心定位是各种计算机视觉应用的关键技术之一，在虚拟现实、机器人、脑科学，以及医学分析等领域已经得到了广泛的应用。

目前，瞳孔中心定位的研究根据其应用场景主要分为头戴式瞳孔中心定位和自然瞳孔中心定位。

头戴式瞳孔中心定位是指通过头戴式的拍摄设备，采集眼部区域的图像后进行瞳孔中心定位。这种方法的优点在于，拍摄的图像几乎完全分布在眼部周围，并且具有很高的分辨率，但是由于其对于特定头戴设备的需求，以及拍摄图像本身不具备日常可获取图像的普遍性，这种方法在日常生活中的应用比较局限。自然瞳孔中心定位指的是使用更通用的拍摄设备，如智能手机和网络摄像机，获取自然条件下的图像后进行瞳孔中心定位。相较于前一种定位问题，在自然图像中存在更多不确定的因素影响瞳孔中心定位的结果，比如拍摄角度和变化的光照。

为了克服变化因素的影响，许多研究者提出创新的方法来实现在自然图像中进行瞳孔中心定位，比如，

Timm和Barth等在Accurate Eye Centre Localisation by Means of Gradients中将瞳孔中心定义为图像梯度相交最密集的点，根据眼球的生理色素分布，利用图像的梯度信息来定位瞳孔中心。

Xia和Yu等在Accurate and Robust Eye Center Localizatin via FullyConvolutional Networks中将瞳孔中心定位问题定义为一种特殊的语义分割问题，对左右眼区域分别进行瞳孔中心的加权预测来进行定位。

Baek和Choi等在Eyeball model-based iris center localization forvisible image-based eye-gaze tracking systems中对眼球姿态和瞳孔中心之间的变化关系进行建模，建立先验知识库后根据采集到的眼球姿态来进行最佳匹配，最终定位到瞳孔中心。

volutional neural networks中引入了生成对抗网络(GAN)来针对性地去除眼镜对眼部区域的影响，再使用分割的方法定位到瞳孔中心。

然而包括上述方法在内的现有方法大都将整个流程分割为三个部分，即先进行脸部区域检测，再切割出眼部区域，最后在眼部区域中进行瞳孔中心定位。这种设计会导致数据流变得不连续，使得最终的瞳孔中心定位精度依赖于其前置组件的质量，也将定位方法的设计可能限制在了局部图像内，不利于通过整体的图像信息来提升定位方法的精确性和鲁棒性。

发明内容

有鉴于此，本发明的目的在于提供一种基于深度投票机制的端到端瞳孔中心定位方法，通过将卷积神经网络和经典视觉中的投票机制相结合，在保持高精度定位的同时，实现端到端的数据流处理。

为达到上述目的，本发明提供如下技术方案：

一种基于深度投票机制的端到端瞳孔中心定位方法，利用神经网络在图像中的人眼区域提取富有语义信息的描述子，不同描述子给出独立的预测，最终全部的预测被整合起来得到最终的定位结果。该方法具体包括以下步骤：

S1：获取包含人脸的图像集，并对图像集进行标注，然后将标注后的图像集分为训练集和测试集；