[发明专利]一种基于深度学习的人眼状态检测的模型训练方法、检测方法、装置、移动端设备及服务器

说明书

本发明公开了一种基于深度学习的人眼状态的模型训练方法，包括以下步骤：步骤1，采集训练样本集，采集多维度场景下的人脸样本数据；步骤2，样本处理，提取出样本中的眼睛图片步骤3，构建训练集，测试集和验证集，并对原始样本数据进行数据增强步骤4，用训练集训练修改后的ShufflenetV2网络模型，通过反复测试及验证，挑选出表现最优的网络模型；该模型训练方法充分考虑了样本的多样性和全场景覆盖性，通过在ShufflenetV2网络结构的基础上进行了网络结构调整，降低计算量，提升了计算速度，同时提高了人眼检测精度。

技术领域

本发明涉及图像识别领域和人脸状态检测领域，具体涉及一种基于深度学习的人眼状态检测的模型训练方法、检测方法、装置、移动端设备及服务器。

背景技术

近年来，随着经济的发展，机动车得到了广泛的普及，为人们的出行提供了极大的便利，于此同时，由于机动车司机的疲劳驾驶问题，也为公众出行引入了较大的安全隐患。要解决疲劳驾驶问题，需要对驾驶员的状态进行实时的监控，对异常状态进行提醒和预警，目前常用的疲劳驾驶预警技术包括监控驾驶员生理信息(血压，脉搏，呼吸，脑电波等)，监控驾驶员面部表情、驾驶员驾驶时长、驾驶员驾驶距离等手段来直接或者间接的推测驾驶员是否疲劳。而对眼睛状态的判断是从驾驶员面部信息推断其是否疲劳驾驶的一个关键指标。现有的对眼睛状态的判断方法大多是根据眼部周围区域的尺寸或者比例变化来判断眼睛状态，这种方法在驾驶员眼睛较小时存在较大误差，并在摄像头与脸部不正对时的准确率较低。

发明内容

为了克服现有技术的不足，本发明的目的在于提供一种基于深度学习的人眼状态检测的模型训练方法、检测方法、装置、移动端设备及服务器，其中该模型训练方法充分考虑了样本的多样性和全场景覆盖性，通过在ShufflenetV2网络结构的基础上进行了网络结构调整，降低计算量，提升了计算速度，同时提高了人眼检测精度。

为达到上述目的，本发明是通过以下的技术方案来实现的。一种基于深度学习的人眼状态的模型训练方法，包括以下步骤：

步骤1，采集训练样本集，采集多维度场景下的人脸样本数据；

优选的，所述多维度场景包括不同光照强度、不同观测角度、不同年龄段、不同性别、不同眼睛大小、不同眼睛状态的场景；

进一步，所述不同光照强度包括正常光照、微弱光照、强光照、红外光照；所述不同的观测角度包括正脸采样、左右侧30度采样、左右侧45度采样、左右侧60度采样、正脸俯仰15度采样、正脸俯仰30度采样、左右侧30度俯仰15度采样、左右侧30度俯仰30度采样、运动中人脸随机采样；所述不同年龄段包括男女儿童、男女少年、男女青年、中年男女、中老年男女、老年男女；所述不同眼睛状态包括睁眼、眯眼、闭眼、戴眼镜、戴墨镜、光影遮盖。

步骤2，样本处理，提取出样本中的眼睛图片

优选的，步骤2具体为：通过程序批量处理所述人脸样本，提取出其中的眼睛图片，所述提取出样本中的眼睛图片分为四类样本，包括闭眼类、睁眼类、眯眼类、非眼类；所述非眼类为由于角度、光线、以及眼睛识别模块的误差导致的非眼部区域、不完整眼部区域等无法判断睁闭眼状态的图片。

步骤3，构建训练集，测试集和验证集，并对原始样本数据进行数据增强

优选的，步骤3具体为：所述对原始数据进行数据增强是对原始样本数据随机进行平移，旋转，降噪，滤波等操作，将增强后的图片保存下来用于实际模型训练，可以有效提高训练出来模型的精度；所述训练集用于模型训练，所述测试集用于训练时对比精度，所述验证集用于最终评价模型效果。

步骤4，用训练集训练修改后的ShufflenetV2网络模型