[发明专利]基于卷积神经网络的多通道人眼闭合识别方法

说明书

本发明公开了基于卷积神经网络的多通道人眼闭合识别方法，该方法首先获取人眼的R、G、B图像和近红外图像数据库；然后将人眼的R、G、B和红外图像经过处理后融合成四通道图像以充分利用人眼的各种变化信息，并作为卷积神经的输入；接着通过多个卷积层、池化层操作获取图像特征；最后由一个全连接层输出图像的分类结果。本发明实际应用中利用Kinect相机获取人眼的多通道图像，对人眼状态的识别具有很好的鲁棒性，识别精度高，抗干扰能力强。

技术领域

本发明涉及基于卷积神经网络的多通道人眼闭合识别方法，具体涉及多通道人眼图像(R、G、B、红外图像)和卷积神经网络相结合的人眼状态识别方法，属于人眼状态识别技术领域。

背景技术

眼睛是人们获取外界信息的重要器官，相反对外界来说，眼睛也是体现人们心理状态意识的最直接器官。人眼所蕴含的极为丰富的信息，促使人们通过不同的方式对人眼状态进行识别，从而实现不同的目的。

上世纪六七十年代发展至今，对人眼状态的识别和对不同人眼特征的提取已成为机器学习领域的研究重点。至今，人眼识别的主要应用领域包括：身份识别(Identification)、疲劳驾驶检测(Fatigue Driving Arithmetic)、基于“眼球跟踪(EyeTracking)”的人机交互系统、以“测谎(Polygraph Test)”为主要目的的心理测试等。其中，疲劳驾驶检测的主要途径之一就是人眼闭合状态的精确识别。

目前人眼闭合的识别方法主要有两类：

第一类是通过边缘分析(Xiaoyu Ma,Xiuhua Jiang,Xiaohua Lei,Hui Zhang,Ping Liu,“A no-reference image blur metric based on two-pass edge analysis”IEEE Image Edge Detection.Beijing,China,January 2016:2157-9563)、主动形状模型ASM(Chongshan Lv,Ting Zhang,Cong Lin,“Improved ASM Localization Algorithm forFacial Feature”IEEE ASM algorithm.Changsha,China,November 2017:978-1-5386-1230-9)、纹理模型AAM(Muhammad Aurangzeb Khan,Costas Xydeas,Hassan Ahmed,“Onthe application of AAM-based systems in face recognition”IEEE Multi-ModelActive Appearance Model.LA1 4WA,United Kingdom,November 2014:2076-1465)等图像分析手段，精确检测出眼睑轮廓线，通过两个眼睑之间的距离，直接识别出眼睛是否闭合；另一类是通过统计学习的方法，利用大量的开眼和闭眼样本，训练出分类器，对人眼状态进行开、合分类。第一类方法直接，而且可以给出眼睛的开合度。但是要准确的检测出眼睑轮廓线，技术要求非常高，且实际应用准确度不高。

第二类方法通过特征描述和分类技术对眼睛图像进行分类，技术实现相对成熟。但是应该认识到，人眼的睁闭状态并非是离散的，只有开、合两种状态，而是连续的。特别是驾驶过程中，眼睑的距离是变化的。再加上，即便都是在开眼状态下，不同人眼睛的开合度也有差异。因此，简单用分类器对眼睛状态进行分类并不合理。

此外，影响人眼闭合识别的原因还有以下的几个方面：人眼图像的获取过程中的不确定性(如光照方向、光照强度等)；人眼模式的多样性(如眼镜、发型等)；人眼塑性变形的不确定性(如表情等)；所涉及的领域知识的综合性(如心理学、医学、模式识别、图像处理、数学等)。因此如何找到一个能更好覆盖所有内外在环境不确定性的人眼闭合识别算法，以及如何有效挖掘图像信息变化规律都是进一步研究需要考虑的问题。

发明内容