[发明专利]一种基于深度学习的多目标时间序列人脸状态识别方法

权利要求书

1.一种基于深度学习的多目标时间序列人脸状态识别方法，其特征在于包括以下步骤：

步骤一：图像的采集

利用工厂工位前的前置摄像头对人员进行人脸视频拍摄，获得包含人脸的视频图像，以此作为后期图像预处理的数据集；

步骤二：图像模糊与直方图均值化预处理

对步骤一中获得的视频图像进行图像预处理操作，先用双边滤波进行图像的模糊处理，以去除图像中的一些图像噪声；然后对图像进行直方图均衡化处理，分别对图像的R、G、B三个通道进行直方图均衡化，将处理后的三通道重构成一张RGB图；

步骤三：目标图像双线性插值法修改图像尺寸

对于步骤二预处理后的图像，使用双线性差值法增大图像的尺寸大小；

步骤四：人脸检测算法的构建与训练

以SSD算法作为人脸检测算法模型进行人脸的检测训练，将步骤三放大图像尺寸后的图像数据输入至SSD算法模型中，进行模型的训练，经过模型的训练出关于人脸特征的模型参数，其可以有效识别并提取输入至SSD算法模型的图像当中的人脸，并最终获得人脸图像；

步骤五：时间序列人脸图像数据集的标定

对步骤四中获得人脸图像进行图像标定处理，设定同一个人员一段时间序列内的图像为同一个图像类别，并按照图像中人员的实际状态标注出其疲劳、兴奋或开心的工作状态，以此作为图像单元的状态标签；

步骤六：时间序列人脸图像的光流变化图数据集建立

将步骤五中的每一个图像类别当中的时间相邻的两帧人脸图像输入到运动单元提取模块，计算该时间相邻的两帧人脸图像的每一个像素点的速度矢量，以此获得关于人脸面部肌肉的运动特征的光流变化图，按照此方法，完成所有时间相邻的两帧人脸图像对应的光流变化图；

并按照步骤五当中每一个图像类别的状态标签，设定出此时的光流变化图的对应状态标签，由此建立完成时间序列光流变化图数据集；

步骤七：时间序列面部状态识别模型的构建与训练

建立基于RNN与CNN的人脸状态分类器，将步骤六获得的对应有状态标签的光流变化图输入至所述人脸状态分类器，对人脸状态分类器进行模型的训练，获得对时间序列数据分类输出识别结果，从而判定对应人员在对应时间序列下的工作状态情况。

2.如权利要求1所述的一种基于深度学习的多目标时间序列人脸状态识别方法，其特征在于步骤三中，通过双线性插值法的方式进行图像的上采样处理，以此来增大图像的尺寸，其中的图像插值是在离散数据的基础上补插连续函数，使得这条连续曲线通过全部给定的离散数据点，利用它可通过函数在有限个点处的取值状况，估算出函数在其他点处的近似值；使用双线性差值法的具体过程为：

双线性插值即在图像的x轴与y轴两个方向进行线性插值，设定图像在坐标(x,y)处像素值为A(x,y)，若在相邻的4个像素值A(x1,y1)、A(x1,y2)、A(x2,y1)、A(x2，y2)之间插入像素值A(x,y)，则运行公式如下所示：