[发明专利]一种非受限条件下眨眼检测模型及其构建方法和应用

说明书

本发明公开了一种非受限条件下眨眼检测模型及其构建方法和应用，构建方法包括：获取多个训练样本，每个训练样本包括连续多帧图像及每帧图像的人脸和人眼位置信息；采用训练样本预训练眼部信息挖掘网络；从每帧图像内抠取人脸图片并确定其内人眼中心坐标；采用预训练眼部信息挖掘网络挖掘每张人脸图片的特征信息丰富人眼区域；基于每个训练样本对应的所有上述人眼区域训练眨眼检测网络，得到各训练样本的检测结果；基于当前眨眼检测网络及其对各训练样本的检测结果，采用即时奖励，控制当前眼部信息挖掘网络强化学习，基于新的眼部信息挖掘网络，重复上述，直至达到预设条件。本发明在非受限条件下进行眨眼检测，极大提高了眨眼检测的精度和效率。

技术领域

本发明属于数字图像识别技术领域，更具体地，涉及一种非受限条件下眨眼检测模型及其构建方法和应用。

背景技术

眼睛是心灵的窗户，眨眼检测也是一种反应受试个体当前行为状态的良好行为交互方式。其在现实生活中有着广泛的应用，如医疗系统中的干眼症恢复，刑侦系统中测谎等应用场景。

目前，主要的眨眼检测算法主要分为以下三种：一种基于特征点位置特征的方法，该方法基于眼部密集关键点位置信息，提取特征(如EAR)，再利用分类器(SVM，Adboost等)进行训练，得出判定当前眼睛的睁闭状态；另一种是基于手工特征(LBP，HOG，SIFT等)提取特征进行眨眼检测，最后一种是直接利用人工规则进行检测(如hough变换检测瞳孔，“红眼效应”等)。

上述方法存在以下缺陷，对于第一种方法，除了眨眼，眼部关键点位置也受姿态、环境光、拍摄角度、人物眼睛大小等因素影响。因此该方法仅在严格受限的情形下有较好的表现。另一种算法是手工特征，其并不是针对眨眼检测这种细粒化识别人物设计的，因此这些特征在自然条件下存在模型能力不足，表现不佳的问题。其余基于人工规则的方法有着鲁棒性差或是存在特殊设备条件和人员配合的要求，因此很难应用于实践。

发明内容

本发明提供一种非受限条件下眨眼检测模型及其构建方法和应用，用以解决现有眨眼检测因需要受限各种条件而存在保证检测精度的条件下检测效率不高的技术问题。

本发明解决上述技术问题的技术方案如下：一种非受限条件下眨眼样本检测模型构建方法，包括：

S1、获取多个训练样本及其眨眼与否的标签，每个训练样本包括连续的多帧图像以及每帧图像的人脸位置信息和人眼位置信息；

S2、基于各训练样本中各帧图像的人脸位置信息和人眼位置信息，预训练眼部信息挖掘网络，其输入为人脸图片、输出为表征人眼位置的热图；从每个训练样本中的每帧图像内抠取人脸图片并确定其内人眼中心坐标；

S3、采用所述预训练的眼部信息挖掘网络，为每张人脸图片生成对应的热图；将每张人脸图片与其对应的热图点乘，之后基于该张人脸图片对应的人眼中心坐标，从点乘后的人脸图片中抠取人眼图片；

S4、基于每个训练样本对应的所有人眼图片和所有所述标签，训练基于数据驱动的眨眼检测网络，得到各训练样本的检测结果；

S5、基于当前眨眼检测网络及其对各训练样本的检测结果，采用即时奖励，控制当前眼部信息挖掘网络强化学习，基于新的眼部信息挖掘网络，重复S3，直至达到预设条件，得到眨眼样本检测模型。