[发明专利]一种基于深度学习的疲劳检测方法、系统和计算机设备

权利要求书

1.一种基于深度学习的疲劳检测方法，其特征在于，包括：

获取当前帧视频流图片；

通过基于第一深度学习模型的人脸跟踪算法提取当前帧视频流图片的人脸位置信息和人眼位置信息；所述人脸位置信息包括人脸框的位置信息；所述人眼位置信息包括每只眼睛左右两个眼角的特征点位置信息；

基于所述人眼位置信息，通过基于第二深度学习模型的眼睛状态识别算法提取眼睛上下边缘特征点landmark的位置信息；

根据眼睛上下边缘特征点landmark的位置信息计算眼睛张开程度，判断出疲劳状态；

所述第一深度学习模型输出3个全连层，分别为fc1、fc2和fc3；其中，fc1全连接层输出2个神经元用于人脸分类，fc2输出4个神经元用于人脸框位置提取，fc3输出8个神经元用于人眼位置提取；

所述第一深度学习模型的损失函数如下：

L＝L1+L2+L3

L1表示人脸分类使用的交叉熵损失函数，表示如下：

其中，y_i表示分类0或者1的标签，0表示不是人脸，1表示为人脸；p_i表示模型预测的概率值；n表示损失函数L1的分类个数，n＝2，包括0和1两个分类；

L2表示人脸框位置提取使用的欧式损失函数，表示如下：

其中，和分别表示当前预测人脸框的4个值与当前人脸框标签的4个值；m表示损失函数L2的回归个数，回归人脸框有四个值，m＝4；

L3表示人眼位置提取使用的欧式损失函数，表示如下：

其中，和分别表示当前预测人眼位置点的8个值与当前人眼位置点标签的8个值；l表示损失函数L3的回归个数，人眼有8个特征点，需要回归16个值，l＝16。

2.根据权利要求1所述的基于深度学习的疲劳检测方法，其特征在于，所述通过基于第一深度学习模型的人脸跟踪算法获得当前帧视频流图片的人脸位置信息和人眼位置信息，具体包括：

步骤a1，判断当前帧视频流图片的前一帧是否检测有检测到人脸；如果没有，使用MTCNN算法检测当前帧视频流图片的人脸位置并保存，不再执行其他步骤；否则，执行步骤a2；

步骤a2，将前一帧检测到的人脸位置扩大预设倍数后作为当前帧人脸框图并归一化到指定尺寸；

步骤a3，通过第一深度学习模型识别出当前帧人脸框图是否包括人脸；如果包括，执行步骤a4；

步骤a4，通过第一深度学习模型提取当前帧人脸框图的人脸位置信息；并通过第一深度学习模型提取当前帧人脸框图的人眼位置信息。

3.根据权利要求1所述的基于深度学习的疲劳检测方法，其特征在于，所述通过基于第二深度学习模型的眼睛状态识别算法提取眼睛上下边缘特征点landmark的位置信息，具体包括：

步骤b1，基于提取的人眼位置，以左右两个眼角特征点间的距离为眼睛尺寸，将一只眼睛的中心扩大预设倍数后作为当前帧人眼框图并归一化到指定尺寸；

步骤b2，通过第二深度学习模型识别出当前帧人眼框图是否包括人眼；如果包括，执行步骤b3；

步骤b3，通过第二深度学习模型提取当前帧人眼框图的眼睛上下边缘特征点landmark的位置信息；其中，眼睛上下边缘特征点landmark包括左右两个眼角的特征点、上眼睑边缘特征点和下眼睑边缘特征点；所述上眼睑和下眼睑的边缘特征点点数相同且呈对称分布。

4.根据权利要求3所述的基于深度学习的疲劳检测方法，其特征在于，所述第二深度学习模型输出2个全连层，分别为fc4和fc5；其中，fc4全连接层输出2个神经元用于人眼分类；fc5输出预设个神经元用于眼睛上下边缘特征点landmark位置提取。