[发明专利]一种基于深度学习的人脸状态识别方法及其装置

权利要求书

1.一种基于深度学习的人脸状态识别方法，其特征在于，包括以下步骤：

步骤一.采集被识别人的脸部图像并记录采集时间，使用人脸识别算法对被识别人的图像进行处理，输出人脸识别结果；

步骤二.将人脸识别结果输入到预训练的深度神经网络和人脸特征点模型进行处理，得到表情识别结果和疲劳识别结果；所述的表情识别结果包括表情类型及其预测值；

步骤三.将表情识别结果和对应的采集时间作为表情数据，依序记录到表情数据库中；将疲劳数据也按照时间记录到疲劳数据库中；

步骤四.从表情和疲劳数据库中获取多个数据并进行分析，从而得到对被识别人的状态识别结果；

所述的深度神经网络配置为：

第一层为输入层，输入图片参数为L*W*H，L为图片长度，W为图片宽度，H为图片通道数；

第二层为第一层卷积层，卷积核大小为k1*k1，步长为s1，填充尺寸为p1，深度为D1；

根据卷积公式：

得到输出的特征张量为Lout*Wout*D1；

第三层为第一层池化层，池化层参数为L1*L1，步长为sd1，其中L1的大小设置为2或3；所得结果记为f(x)；

接下来的网络结构以一层卷积层加一层池化层为搭配，第四层为第二层卷积层，卷积核大小为k2*k2，步长为s2，填充尺寸为p2，深度为D2；其中k2的大小不大于前一层卷积层，其值设置在3～5范围内；采取的激活函数的形式为y＝max(0,x)，深度可保持不变或更大；第五层为第二层池化层，池化层参数大小为L2*L2，步长为sd2，池化层不做改变；所得的结果记为f1(x)；

在前后两层卷积层深度不变的情况下，此时进入下一层卷积层的输入变为f(x)+f1(x)；若深度不同，则上一层的输出仍为下一层输入；以此类推；

隐藏层层数设置在50～60层；

倒数第二层为第一层全连接层，分类回归输出一组一维的向量V，输出参数为(x,1,1)的一维张量；

最后一层为输出层也是全连接层的第二层，分类回归输出一组一维的向量V1，输出参数为(x1,1,1)的一维张量；

所述步骤二包括：

(2-1)将人脸识别结果在时刻ti以及时刻ti之前的时刻ti-1、ti-2、ti-3、ti-4和ti-5分别对应的帧输入到经过预先训练的CNN卷积神经网络进行处理，从而输出时刻ti、ti-1、ti-2、ti-3、ti-4和ti-5分别对应的表情预测值，其中i为时刻的序号；

(2-2)利用加权求和判断方法，对各待定表情预测值进行加权求和，从而得到加权求和结果，根据加权求和结果，得到时刻ti的表情识别结果；过程包括：

将所述各个待定表情预测值集合记为R＝{P_m,ti|P_m,ti＝const_m,ti,m＝0,1,...,7}，其中p_m,ti表示当前ti时刻的第m种表情的预测值；

利用右式计算平均化结果：

其中，m为表情类型记号，i为对应时刻的序号，n为求和序号，σ_m,ti为加权求和取平均后的结果；其中将疲劳的预测值结果记为Q_ti；

(2-3)将视频帧输入到人脸特征点识别模型中，得到特征点在图像中的坐标值(X,Y)；取出眼睛与嘴巴处的特征点的横纵坐标值，进行以下处理：

(2-3-1)将眼睛上部的点的纵坐标值记为y_j，将眼睛下部的点纵坐标值记为y_k，将眼睛最左的点横坐标值记为x，将眼睛最右的点横坐标值记为x’；其中j，k为点的标号；由此可以得到比值：

设定阈值mi，当Q低于mi则判定为疲劳；

(2-3-2)将嘴巴上部的点的纵坐标值记为y′_j，将嘴巴下部的点纵坐标值记为y′_k,将嘴巴最左的点横坐标值记为x1，将嘴巴最右的点横坐标值记为x1’；其中j，k为点的标号；由此可以得到比值：

设定阈值ni，当Q高于ni则判定为疲劳；

(2-3-3)由于嘴巴与眼睛对于疲劳判别的关键度不同，相对应的权值也不同，最终的疲劳程度：

将其与阈值Z进行比较，若低于Z则判定为疲劳；

(2-3-4)取ti时刻前固定N帧图片进行特征点检测，将判定为疲劳的图片数量记为M，可以得到比例值为T1＝M/N，第一种CNN卷积神经网络得到的疲劳预测值为Q_ti；将两种网络的值综合起来得到：

设定若干阈值Si，当S处于不同Si中时，判定的疲劳程度不同。