[发明专利]一种基于深度学习算法的人眼注意力检测方法

说明书

技术领域

本发明涉及一种基于深度学习算法的人眼注意力检测方法，属于深度学习领域。

背景技术

人眼注意力检测是指通过眼球追踪设备，测量人体眼位与目光凝视点的运动。这种新兴的技术能提高计算机的智能交互性。人眼追踪被长期运用于研究个体的视觉注意力，最常用的眼球跟踪技术是瞳孔检测法。

深度学习的概念源于人工神经网络的研究。含多隐层的多层感知器就是一种深度学习结构。深度学习通过组合低层特征形成更加抽象的高层表示属性类别或特征，以发现数据的分布式特征表示。深度学习的概念由Hinton等人于2006年提出。基于深度置信网络(DBN)提出非监督贪心逐层训练算法，为解决深层结构相关的优化难题带来希望，随后提出多层自动编码器深层结构。此外Lecun等人提出的卷积神经网络是第一个真正多层结构学习算法，它利用空间相对关系减少参数数目以提高训练性能。深度学习是机器学习中一种基于对数据进行表征学习的方法。观测值(例如一幅图像)可以使用多种方式来表示，如每个像素强度值的向量，或者更抽象地表示成一系列边、特定形状的区域等。而使用某些特定的表示方法更容易从实例中学习任务(例如，人脸识别或面部表情识别)。深度学习的好处是，用非监督式或半监督式的特征学习和分层特征提取高效算法来替代手工获取特征。深度学习是机器学习研究中的一个新的领域，其动机在于建立、模拟人脑进行分析学习的神经网络，它模仿人脑的机制来解释数据，例如图像，声音和文本。同机器学习方法一样，深度机器学习方法也有监督学习与无监督学习之分.不同的学习框架下建立的学习模型很是不同.例如，卷积神经网络(Convolutional neural networks，简称CNNs)就是一种深度的监督学习下的机器学习模型，而深度置信网(Deep Belief Nets，简称DBNs)就是一种无监督学习下的机器学习模型。

深度学习用于人眼注意力检测是一种新的方法，并且取得了很好的效果，具有很高的市场价值。

发明内容

基于此，本发明提出了一种发明目的：本发明所要解决的技术问题是针对现有技术的不足，提供一种鲁棒高效、效果好的基于深度学习算法的人眼注意力检测方法。

技术方案：本发明公开了一种基于深度学习算法的人眼注意力检测方法，包括以下步骤：

步骤一，对于给定的图像F(x,y)，其中x，y表示像素点的坐标值，做直方图均衡化处理，目的是在一定程度上消除光照等外界因素的影响；

步骤二，用AdaBoost算法进行人脸检测(Face Detection)，将检测到的人脸区域设为感兴趣区域(ROI)；

步骤三，采用回归树方法(Ensemble of Regression Trees，ERT)从ROI中估计人脸特征点坐标，实现高精度的人脸对齐(Face Alignment)；

步骤四，根据特征点线性回归，回归出头部姿态角度(α,β,γ)；

步骤五，抠取ROI中L、R小矩形区域，得到左右眼两幅小图片，分别表示为L(x,y)，R(x,y)；

步骤六，将L(x,y)、R(x,y)大小归一化为L'(x,y)、R'(x,y)；

步骤七，对L'(x,y)进行人眼闭合程度检测，返回结果范围[0,1]，其中0表示闭眼，1表示完全睁眼；

步骤八，将L'(x,y)传入卷积神经网络(CNN)模型进行识别分类，分类识别的结果是：视线向右I、视线向上Ⅱ、视线向左Ⅲ、视线向下Ⅳ、视线向前Ⅴ；

步骤九，将R'(x,y)左右镜像处理为R”(x,y)＝R’(W-x,y)，其中W为图片宽度；

步骤十，对R”(x,y)进行人眼闭合程度检测，返回结果范围[0,1]，其中0表示闭眼，1表示完全睁眼；

步骤十一，将R”(x,y)传入卷积神经网络模型，进行识别，并还原到左右镜像处理前的结果(视线向左和视线向右结果相反)，分类识别的结果是：视线向右I、视线向上Ⅱ、视线向左Ⅲ、视线向下Ⅳ、视线向前Ⅴ；

步骤十二，将步骤六和步骤九结果输入注意力检测模型：

得到结果y，对应视线向右I、视线向上Ⅱ、视线向左Ⅲ、视线向下Ⅳ、视线向前Ⅴ；

其中φ_L、φ_R表示左、右眼最大似然视线方向；N表示模型分析区间长度；y∈[1,2,3,4,5]对应于视线向右I、视线向上Ⅱ、视线向左Ⅲ、视线向下Ⅳ、视线向前Ⅴ,注意力监测模型区间长度N为100帧。

本发明步骤二中，采用AdaBoost算法进行人脸检测的具体原理步骤是：