[发明专利]基于近红外反射点特性的视线跟踪预处理方法

说明书

技术领域

本发明属视频、多媒体信号处理技术领域，涉及一种基于近红外反射点特性的视线跟踪预处理方法，具体涉及一种应用于视线跟踪系统的基于近红外反射特性的预处理方法。

背景技术

随着信息科学技术的飞速发展，以及高科技产品应用的普及，视线跟踪系统作为一种智能的人机交互系统，在虚拟现实、发展心理学、医学诊断，商业广告测评等领域的应用也日益广泛，同时，视线跟踪系统对于重度瘫痪但视觉良好的病人来说也是一个很好的辅助设备，他们可以通过眼球的运动来表达自己的意愿与需求，并控制相应的系统来满足自己的需求。

视线跟踪系统一般可分为人眼定位、瞳孔区域提取、反射点提取、瞳孔中心定位、注视点估计以及校正六个部分，其中人眼定位是实现跟踪系统的首要步骤，也是其关键环节之一，定位结果将直接影响系统的实用性及其精度。目前虽有些算法可以实现准确的人眼定位，但其算法复杂度高或是对硬件设备有很高的要求。并且，由于眼镜、配饰等物体的反光性，更是对人眼的定位造成了不利的影响，进而影响视线跟踪系统的实用性及精度。因此，如何消除眼镜、配饰等的影响，找到一种较好的人眼定位方法对视线跟踪系统进行预处理，来提高系统的适应性及精度具有重要的应用价值。

发明内容

本发明所要解决的技术问题在于提供一种基于近红外反射点特性的视线跟踪预处理方法，已解决现有的人眼定位由于受眼镜、配饰等反光效应的影响而导致精度低适应性差的问题。本发明方法可以在戴眼镜、戴首饰的情况下，使系统能够正常工作，并保证其实时性及精度。

由于视线跟踪的系统中采集到的眼动视频是一种在近红外光源照射下采集的特殊视频，因此，本发明根据图像中人脸区域的灰度差和反射点的结构来消除眼镜、配饰等的影响，进而通过角膜上特殊的反射点来定位人眼。

本发明所提供的一种基于近红外反射点特性的视线跟踪预处理方法，具体包括以下步骤：

(1)提取人脸区域，即通过水平和竖直积分投影从用灰度摄像机采集的图像中提取出人脸区域，以消除背景对人眼提取的影响。

(2)提取人脸区域中的反射点，即通过设定阈值，将人脸图像进行二值化，得到人脸图像中所有的灰度值大于该阈值的反射点，并通过一个面积阈值，先去除面积较大的反射点。

(3)提取人脸中的黑色连通域，并根据面积大小、距离关系、人脸结构特性确定出大致的瞳孔区域。

(4)步骤(2)中得到的反射点和步骤(3)中所得到的瞳孔区域的交集就是角膜上的反射点，根据角膜上反射点的坐标确定出眼睛区域。

先对采集到的视频中的第一幅图像根据上述(1)(2)(3)(4)四个的步骤进行人眼定位，其后一幅图像的人眼定位可以在该提取出的人眼区域上进行跟踪处理，直至某幅图片由于闭眼等情况不能成功地进行人眼定位时则进行初始化，重新根据(1)(2)(3)(4)的步骤来处理下一幅图片。

在所述步骤(1)中，为增强图像对比度，先根据整幅图像中像素的灰度值对图像进行二值化处理，然后再通过在水平和竖直方向上进行灰度积分投影来确定人脸区域，并且，在确定人脸区域水平和竖直边界时，均根据相应方向上的灰度积分投影来划定人脸区域。

所述步骤(2)的具体实现包括以下步骤：

a、计算步骤(1)中提取出的人脸区域的每个像素的像素值，根据灰度值对人脸区域进行二值化处理，得到人脸区域中带有噪点的反射点。

b、对于步骤a中得到的反射点，根据反射点的大小，去除由于眼镜片及配饰等外在附加物所反射造成的面积较大的反射点，保留面积较小的反射点。

步骤(3)的具体实现包括以下步骤：

a、对人脸区域做二值化处理，得到人脸中具有较低灰度值的黑色连通域，即由瞳孔、眼镜框、头发、鼻孔所形成的区域。

b、根据距离、位置结构关系，对所得到的黑色连通域进行选取，得到大致的瞳孔区域。其中，所述步骤b实现的具体步骤如下：

(i)将所得到的黑色连通域根据面积筛选，可以去除部分由于眼镜框造成的面积较大的黑色连通区域；

(ii)根据瞳孔在人脸区域中的位置，将距离人脸左边界或右边界较近的黑色连通域去除；

(iii)根据鼻孔区域始终距离人脸图像下边界最近的特性，去除鼻孔区域对应的黑色连通域；

(iv)根据瞳孔和鼻孔的位置关系，选定瞳孔区域对应的黑色连通域。

与现有技术相比，本发明方法能在戴眼镜和佩戴饰物的情况下，实现精确地人眼定位，并保证视线跟踪系统具有较好的实时性及较高的精度。

附图说明