[发明专利]一种非受限条件下眨眼检测模型及其构建方法和应用

权利要求书

1.一种非受限条件下眨眼样本检测模型构建方法，其特征在于，包括：

S1、获取多个训练样本及其眨眼与否的标签，每个训练样本包括连续的多帧图像以及每帧图像的人脸位置信息和人眼位置信息；

S2、基于各训练样本中各帧图像的人脸位置信息和人眼位置信息，预训练眼部信息挖掘网络，其输入为人脸图片、输出为表征人眼位置的热图；从每个训练样本中的每帧图像内抠取人脸图片并确定其内人眼中心坐标；

S3、采用所述预训练的眼部信息挖掘网络，为每张人脸图片生成对应的热图；将每张人脸图片与其对应的热图点乘，之后基于该张人脸图片对应的所述人眼中心坐标，从点乘后的人脸图片中抠取人眼图片；

S4、基于每个训练样本对应的所有人眼图片和所有所述标签，训练基于数据驱动的眨眼检测网络，得到各训练样本的检测结果；

S5、基于当前眨眼检测网络及其对各训练样本的检测结果，采用即时奖励，控制当前眼部信息挖掘网络强化学习，基于新的眼部信息挖掘网络，重复S3，直至达到预设条件，得到眨眼样本检测模型。

2.根据权利要求1所述的一种非受限条件下眨眼样本检测模型构建方法，其特征在于，所述预训练眼部信息挖掘网络，具体为：

基于每个训练样本中每帧图像的所述人脸位置信息，提取该帧图像的人脸图片，并初始化一张与该人脸图片大小相同的热图；

基于每帧图像的所述人眼位置信息，修改该帧图像对应的热图中人眼中心点处的值并采用高斯核模糊该热图，得到高斯模糊热图；

以所述提取的每张人脸图片为输入、以其对应的所述高斯模糊热图为输出，预训练眼部信息挖掘网络。

3.根据权利要求1所述的一种非受限条件下眨眼样本检测模型构建方法，其特征在于，所述从每个训练样本中的每帧图像内抠取人脸图片并确定其内的人眼中心坐标，具体为：

采用人脸解析算法和双线性插值法，确定每个训练样本中每帧图像的人脸位置和人眼位置；

基于每帧图像的人脸位置，抠取该帧图像中的人脸图片；

调整每个训练样本中所有帧图像对应的人脸图片为统一尺寸，并基于所述人眼位置，确定所述统一尺寸后的每张人脸图片中的人眼中心坐标。

4.根据权利要求1至3任一项所述的一种非受限条件下眨眼样本检测模型构建方法，其特征在于，所述眨眼检测网络包括深度卷积神经网络和Net-vlad网络。

5.根据权利要求4所述的一种非受限条件下眨眼样本检测模型构建方法，其特征在于，所述S4包括：

采用深度卷积神经网络，提取每张人眼图片的特征向量；基于每个训练样本中所有的特征向量，构建该训练样本的多个双流特征向量；采用Net-vlad网络，对每个训练样本的所述多个双流特征向量编码，得到该训练样本的一个行为特征向量；采用全连接层对每个行为特征向量回归，得到一个表征眨眼与否的二维向量；基于多个训练样本的二维向量，采用A-softmax，调整当前眼部信息挖掘网络下深度卷积神经网络、Net-vlad网络和全连接层的参数，重复S4，直至达到预设终止条件，得到优化后的深度卷积神经网络、Net-vlad网络和全连接层及各训练样本的新的二维向量。

6.根据权利要求5所述的一种非受限条件下眨眼样本检测模型构建方法，其特征在于，所述构建该训练样本的多个双流特征向量，具体为：

将每个训练样本中所有人眼图片对应的深度卷积神经网络得到的特征向量，依序从第二个特征向量开始，每个特征向量与其前一个特征向量对位相减，得到一个差值特征向量，将该差值特征向量串接在当前特征向量的后面，构成一个双流特征向量。