[发明专利]一种基于深度学习的瞳孔定位方法

说明书

一种基于深度学习的瞳孔定位方法，它涉及图像处理和模式识别领域，具体属于视线跟踪系统中瞳孔定位方法的改进。它采用以下三个步骤：1、人脸检测，2、人眼区域定位，3、人眼瞳孔特征检测；详细具体如下：首先输入图像，通过图像进行人脸检测，对人脸的可见光图像和红外图像进行匹配人脸检测模型的训练，通过训练后的人脸检测模型对人脸进行检测，对人脸特征点检测；确定人眼区域定位，通过区域定位对人眼瞳孔进行检测；通过人眼可见光图像和红外图像的训练，得到人眼瞳孔检测模型，通过模型对人眼瞳孔进行检测，最终确定瞳孔的位置。它在人工智能深度学习的背景下，利用一些成熟的人脸检测模型，人脸特征点检测模型下，再结合深度神经网络强大的特征学习能力，提出了一种基于深度学习方法的瞳孔定位方法，它具有准确度、鲁棒性高的有点，也能满足实时性的要求。

技术领域

本发明涉及图像处理和模式识别领域，具体属于视线跟踪系统中瞳孔定位方法的改进。

背景技术

瞳孔定位在安全驾驶检测方向有着很重要的应用，是用来判断驾驶员眼睛视线方向的一个重要的手段之一。驾驶员眼睛视线方向是目前判断驾驶员是否安全驾驶的一个重要指标之一，因而瞳孔定位方法的研究是目前学术界与工业界的一个热点方向。通过定位出驾驶员瞳孔的位置进而可以获取驾驶员眼睛视线方向，从而判断出驾驶员在驾驶行为过程中是否存在注意力不集中的情况，预防不安全驾驶行为的发生，对驾驶员起到提前预警作用。

目前现有的瞳孔定位方法，大多数都是采用hough变换法，椭圆拟合法，梯度向量法等传统图像处理方法。这些传统的图像处理方法虽然在处理速度上有一定的优势之外，在精度上却不尽人意，尤其当人眼区域在光照变化，遮挡的影响下，传统的图像处理方法就很难定位出瞳孔的位置，从而定位精度就大大降低。此外在红外的场景下，由于图像质量本身跟可见光下的图像相比，红外场景下的图像没有明显的对比度，亮度等原因，传统的瞳孔定位方法在红外场景下基本上不适用，定位精度更低。

中国专利CN201810217448.7公开了一种视线跟踪系统中的瞳孔定位方法，该方法通过红外摄像头采集亮瞳图像和暗瞳图像进而分析相关数据，该方法仍然通过红外摄像头的方法获取图像，该方法在精度上却不尽人意，尤其当人眼区域在光照变化，遮挡的影响下，传统的图像处理方法就很难定位出瞳孔的位置。

发明内容

本发明的目的在于针对现有技术的缺陷和不足，提供一种基于深度学习的瞳孔定位方法，在人工智能深度学习的背景下，利用一些成熟的人脸检测模型，人脸特征点检测模型下，再结合深度神经网络强大的特征学习能力，提出了一种基于深度学习方法的瞳孔定位方法，它具有准确度、鲁棒性高的有点，也能满足实时性的要求。

为实现上述目的，本发明采用以下技术方案是：它采用以下三个步骤：

1、人脸检测，2、人眼区域定位，3、人眼瞳孔特征检测；步骤1人脸检测：采用目前成熟的人脸检测网络，但由于本方法要适用可见光与红外场景下，所以在现有的检测网络中加入了可见光与红外场景下的图片进行训练得到鲁棒性更强的人脸检测器，使网络能检测到红外场景下的人脸；所述的步骤2人眼区域定位：对检测到人脸图像，采用人脸特征点定位网络检测出人的两个眼睛的十二个特征点位置，然后利用每个眼睛的六个关键点位置获取外接矩形区域，最后为了避免特征点检测可能存在微小的偏差导致获取在获取最大外界矩形区域没有把眼睛部分完全包围，因而矩形区域扩大五个像素点，最终定位到准确的人眼区域位置。

所述的步骤3人眼瞳孔特征检测：采用基于卷积神经网路的沙漏网络（hourglassnetwork）来提取人眼区域特征；沙漏网络是分别自底向上和自顶向下的，该方式可以捕捉每一个尺度的信息，确保一个有效大的感受野并允许对位置之间的空间关系进行编码；在获得人眼区域后，用沙漏网络训练出人眼瞳孔特征检测器。训练首先制作数据，在制作数据的过程中，自研瞳孔虹膜边缘标注工具，利用标注工具可以标注瞳孔边缘的四个点以及确定人眼区域的两个点，总共六个点；利用标注工具得到所述点1、点2、点3、点4，这四个点可以通过圆拟合算法拟合得到一个圆，所示圆的中心即为近似的瞳孔中心，具体算法可见公式1。