[发明专利]一种基于深度学习的多目标时间序列人脸状态识别方法

说明书

本发明公开了一种基于深度学习的多目标时间序列人脸状态识别方法，包括以下步骤：1、图像的采集，利用工厂工位前的前置摄像头对人员进行人脸视频拍摄，获得包含人脸的视频图像；2、图像模糊与直方图均值化预处理；3、目标图像双线性插值法修改图像尺寸；4、人脸检测算法的构建与训练；5、时间序列人脸图像数据集的标定；6、时间序列人脸图像的光流变化图数据集建立；7、时间序列面部状态识别模型的构建与训练。本发明的方法能够基于深度学习构建企业现场的状态识别，设计实时状态检测算法，提升检测效率降低检测成本，通过使用计算机视觉技术准确的判断出人脸状态，能够有效的检测员工工作时状，合理且动态的规划员工工作，提高工作效率。

技术领域

本发明属于人脸识别技术领域，具体涉及一种基于深度学习的多目标时间序列人脸状态识别方法。

背景技术

情绪劳动是一种基于自身情绪采取有意识的劳动行为。不健康的劳动状态会导致心理与生理的双重疲劳。心理疲劳是认知、情感、意志持久消耗，导致主动能力下降，并产生劳累、厌倦等信息状态。心理疲劳会导致负面情绪增加，具象为精神不振、注意力涣散、情绪低落，进而引发失眠、精神抑郁等生理疾病。心理疲劳往往会影响到人格、动机、行为等维度，并且难以恢复。生理疲劳为个体因过度劳动而导致身体机能下降的生理表现。霍克希尔曼认为，带有疲劳、焦虑、抑郁等负面情绪与劳动效率呈负相关。与生产活动中疲劳与焦虑等负面情绪是职业人群中的常见表现。

面部状态能够反映一个人的认知、情绪、疲劳程度，通过面部状态判断员工的工作状态成为一种直观并且高效的方式，使用计算机视觉技术准确的判断出人脸状态，能够有效的检测员工工作时状，合理且动态的规划员工工作，在保证员工健康、愉快工作的同时不降低效率。本方法旨在基于深度学习构建企业现场的状态识别，设计实时状态检测算法，提升检测效率降低检测成本。

发明内容

本发明方法目的在于克服企业工作背景复杂，光照环境影响明显地问题，提高算法性能地同时尽可能提高算法地效率，对多个目标进行人脸识别，提出一种基于深度学习的多目标时间序列人脸状态识别方法。为实现以上目的，本发明采用以下的技术方案：

步骤一：图像的采集

利用工厂工位前的前置摄像头对人员进行人脸视频拍摄，获得包含人脸的视频图像，以此作为后期图像预处理的数据集。

步骤二：图像模糊与直方图均值化预处理

对步骤一中获得的视频图像进行图像预处理操作，先用双边滤波进行图像的模糊处理，以去除图像中的一些图像噪声(避免此类噪声对后期人脸识别产生影响)。在进行完图像模糊操作后，然后对图像进行直方图均衡化处理，分别对图像的R、G、B三个通道进行直方图均衡化，将处理后的三通道重构成一张RGB图。直方图的均衡化处理主要用来均衡光照，增强图像信号，避免光强对图像产生较大的影响。

步骤三：目标图像双线性插值法修改图像尺寸

对于步骤二预处理后的图像，使用双线性差值法增大图像的尺寸大小。其中的图像插值是在离散数据的基础上补插连续函数，使得这条连续曲线通过全部给定的离散数据点。利用它可通过函数在有限个点处的取值状况，估算出函数在其他点处的近似值。

步骤四：人脸检测算法的构建与训练

以SSD算法为模型进行人脸的检测训练，将步骤三放大图像尺寸后的图像数据输入至SSD算法模型中，进行模型的训练，经过模型的训练出关于人脸特征的模型参数，其可以有效识别并提取输入至SSD算法模型的图像当中的人脸，并最终获得人脸图像。

步骤五：时间序列人脸图像数据集的标定

对步骤四中获得人脸图像进行图像标定处理，设定同一个人员一段时间序列内的图像为同一个图像类别，并按照图像中人员的实际状态标注出其疲劳、兴奋或开心的工作状态，以此作为图像单元的状态标签。