[发明专利]人员状态评估的方法和系统

权利要求书

1.一种人员状态评估的方法，其特征在于，所述方法包括：

采用摄像头连续拍摄工作人员的图像，所述工作人员在固定位置进行长时间重复性的工作；

在连续拍摄工作人员的图像的过程中，采用麦克风采集所述工作人员的语音信号，所述工作人员的语音信号的持续时间大于或等于设定时长时，保留所述工作人员的语音信号，所述工作人员的语音信号的持续时间小于设定时长时，删除所述工作人员的语音信号；

在连续拍摄的所述工作人员的图像中，截取采集所述工作人员的语音信号时拍摄的所述工作人员的图像；

对所述语音信号进行处理，得到所述语音信号的声谱图和所述语音信号中各个语音片段的梅尔频率倒谱系数；

采用第一卷积神经网络对所述图像进行特征提取，得到图像特征；

采用第二卷积神经网络对所述声谱图进行特征提取，得到语音特征；

采用分类器根据所述图像特征、所述语音特征和所述梅尔频率倒谱系数，确定所述工作人员的状态，所述工作人员的状态包括良好、有风险、危险；

其中，所述第一卷积神经网络、所述第二卷积神经网络和所述分类器联合训练得到，训练时，采用所述分类器的输出与图像的标记状态进行比较，取两者的交叉熵作为损伤函数，采用反向传播算法对所述第一卷积神经网络、所述第二卷积神经网络和所述分类器中的参数进行迭代更新。

2.根据权利要求1所述的方法，其特征在于，所述方法还包括：

在所述图像上进行人脸定位，得到所述图像中人脸的位置；

根据所述图像中人脸的位置，转动所述图像，直到所述图像中人脸的偏转角度为设定角度；

根据所述图像中人脸的位置，在转动后的所述图像中截取人脸图像。

3.根据权利要求1所述的方法，其特征在于，所述方法包括：

根据所述状态，控制警示灯和警报器动作；其中，所述状态不同时，所述警示灯发出光线的颜色、所述警示灯发出光线的闪烁频率、所述警报器发出声音的音量、所述警报器发出声音的频率中的至少一种不同。

4.一种人员状态评估的系统，其特征在于，所述系统包括：

拍摄模块，用于连续拍摄工作人员的图像，所述工作人员在固定位置进行长时间重复性的工作；

采集模块，用于在连续拍摄所述工作人员的图像的过程中，采集所述工作人员的语音信号，所述工作人员的语音信号的持续时间大于或等于设定时长时，保留所述工作人员的语音信号，所述工作人员的语音信号的持续时间小于设定时长时，删除所述工作人员的语音信号；

截取模块，用于在连续拍摄的所述工作人员的图像中，截取采集所述工作人员的语音信号时拍摄的所述工作人员的图像；

处理模块，用于对所述语音信号进行处理，得到所述语音信号的声谱图和所述语音信号中各个语音片段的梅尔频率倒谱系数；

评估模块，用于采用深度学习算法根据所述图像、所述声谱图和所述梅尔频率倒谱系数，评估所述工作人员的状态；

所述评估模块包括：

第一卷积神经网络，用于对所述图像进行特征提取，得到图像特征；

第二卷积神经网络，用于对所述声谱图进行特征提取，得到语音特征；

分类器，用于根据所述图像特征、所述语音特征和所述梅尔频率倒谱系数，确定所述工作人员的状态，所述工作人员的状态包括良好、有风险、危险；

其中，所述第一卷积神经网络、所述第二卷积神经网络和所述分类器联合训练得到，训练时，采用所述分类器的输出与图像的标记状态进行比较，取两者的交叉熵作为损伤函数，采用反向传播算法对所述第一卷积神经网络、所述第二卷积神经网络和所述分类器中的参数进行迭代更新。

5.根据权利要求4所述的系统，其特征在于，所述系统还包括：

定位模块，用于在所述图像上进行人脸定位，得到所述图像中人脸的位置；

转动模块，用于根据所述图像中人脸的位置，转动所述图像，直到所述图像中人脸的偏转角度为设定角度；

截取模块，用于根据所述图像中人脸的位置，在转动后的所述图像中截取人脸图像。

6.根据权利要求4所述的系统，其特征在于，所述系统包括：

报警模块，用于根据所述状态，控制警示灯和警报器动作；其中，所述状态不同时，所述警示灯发出光线的颜色、所述警示灯发出光线的闪烁频率、所述警报器发出声音的音量、所述警报器发出声音的频率中的至少一种不同。