[发明专利]一种人眼视线估计方法及其装置

说明书

技术领域

本发明涉及人机交互领域，尤其涉及一种人眼视线估计方法及其装置。

背景技术

HCI(Human-Computer Interaction，人机交互)是研究人与计算机相互作用的技术，研究目的在于提高人机交流的自然性和高效性。眼睛作为人类面部最显著的特征，其运动在信息表达与交流中起到了非常重要的作用。因此，通过拍摄图像对人眼睛的信息进行提取和分析成为人机交互领域中的热点研究问题。

脸部特征点检测是决定一幅图像中人脸各个特征的位置和大小，它有着广泛的应用：监控追踪、人机交互、智能机器人以及视线估计等。1995年，Freund和Schapire提出AdaBoost算法，这种算法根据弱学习的反馈，适应性地调整假设的错误率，使在效率不降低的情况下，检测正确率得到了很大的提高。Viola提出将积分图应用到特征值的计算之中，使其计算速度大幅增加。

视线估计在很多领域比如人机交互、医学诊断、航空和助残等等都有着广阔的发展前景，因此近年来该技术得到了广泛的关注。常用的研究方法是通过设置参考点光源和三维重建技术来实现视线估计。

发明人在实现本发明的过程中，发现现有技术中至少存在以下缺点和不足：

1）由于上述算法本身的特性，使得获取到人脸检测结果的时间较长；

2）由于参考点光源需要复杂的实验设置以及严格的光照环境，限制了应用范围。

发明内容

本发明提供了一种人眼视线估计方法及其装置，本发明缩短了获取人脸检测结果的时间，扩大了应用范围，详见下文描述：

一种人眼视线估计方法，其特征在于，所述方法包括以下步骤：

（1）获取包含人脸的图像并进行位图转换，获取RGB位图；将RGB位图转换为灰度图和肤色二值图；

（2）将灰度图进行各级缩放，对每一级缩放后的图像进行窗口扫描，扫描窗口大小为20×20，并对扫描窗口中的灰度图进行积分图和平方积分图计算；

（3）通过积分图数据和平方积分图数据进行弱分类器计算，将同级弱分类器计算结果累加与对应的强分类器阈值比较，淘汰非人脸窗口；如果一个待选窗口通过所有的强分类器则判定为人脸图像；

（4）Nios II核处理器将识别为人脸的待选窗口进行合并，获取最终人脸区域；根据最终人脸区域、肤色二值图和肤色模型进行脸部区域精确定位，获取人脸区域；

（5）根据人脸区域进行眼部粗定位，先粗略选取脸部图像的1/2-7/8处为眼部区域；再通过混合积分投影函数确定人眼纵坐标位置，以获取人眼精确边界；

（6）对人眼精确边界进行窗口扫描，根据经验值确定一个和眼球大小相近的框对人眼精确边界进行扫描，选取灰度值和最小的窗口为瞳孔，并将窗口中心作为瞳孔中心；

（7）以获得的瞳孔中心为基准，截取包含内眼角的内眼角窗口并对内眼角窗口进行灰度等级拉伸预处理，然后利用Susan算子及角点检测算子，在内眼角窗口中提取候选内眼角点，最后筛选出正确内眼角点坐标；

（8）将瞳孔中心的坐标和正确内眼角点坐标传入PC机的视线估计模型中，确定视线方向。

所述将识别为人脸的待选窗口进行合并具体为：

1)当第二个人脸框与第一个人脸框相距不到第一个人脸框宽的1/2时，将第一个人脸框和第二个人脸框合并为一类，当满足条件时依次进行其他人脸框和第一个人脸框的合并；

2)将人脸框数目大于阈值的类进行人脸最终区域的计算。

所述将人脸框数目大于阈值的类进行人脸最终区域的计算具体为：

将所有框的对应左上角点坐标进行求平均值计算，将计算结果作为整合框的左上角点坐标，再依次进行右上角点、左下角点和右下角点坐标的计算，至此上述四点的坐标即可确定人脸最终区域。

所述肤色模型具体为：（Cg，Cb，Cr为肤色二值图）；