[发明专利]仓储拣选任务中的实时认知负荷与疲劳度检测方法与系统

权利要求书

1.一种仓储拣选任务中的实时认知负荷与疲劳度检测方法，其特征在于，包括以下步骤：

(1)实时获取仓储拣选工人的离散图像及信息片段并存储；

(2)对获取的离散图像进行边缘检测计算，获得仓储拣选工人的多模态认知负荷检测指标数据；

(3)采用认知负荷度检测模型对多模态认知负荷检测指标数据进行协同特征提取和认知负荷检测计算，得到多模态认知负荷度检测结果；

(4)采用疲劳度检测模型对认知负荷度序列和历史疲劳度序列进行计算，得到仓储拣选工人下一时刻的疲劳度检测结果。

2.如权利要求1所述的仓储拣选任务中的实时认知负荷与疲劳度检测方法，其特征在于，基于离散图像进行人脸识别，当人脸识别结果与数据库不匹配时，则依据将仓储拣选工人的信息片段和人脸图像存入数据库。

3.如权利要求1所述的仓储拣选任务中的实时认知负荷与疲劳度检测方法，其特征在于，步骤(2)中，对离散图像分别进行人脸识别、眼动检测、头部姿态估计以及表情识别，以获得人脸、眼动、头部姿态和表情这4个模态的认知负荷检测指标数据。

4.如权利要求3所述的仓储拣选任务中的实时认知负荷与疲劳度检测方法，其特征在于，眼动检测的过程为：提取人脸关键点，包括左右眉，左右眼，鼻子，嘴巴外廓，嘴巴内廓以及下颚，通过计算眼部特征点的横纵坐标来得到眼睛纵横比，得到睁眼幅度、闭眼时间与眨眼频率；采用空洞卷积神经网络模型预测仓储拣选工人注视点，实现眼动检测；

头部姿态估计的过程为：采用FSA-Net对输入的离散图像进行计算，得到人头的二维偏航角度，并且由角度处以转头时间得到转头速度，实现头部姿态估计；

表情识别的过程为：采用表情识别模型通过对离散图像计算得到表情。

5.如权利要求1所述的仓储拣选任务中的实时认知负荷与疲劳度检测方法，其特征在于，所述认知负荷度检测模型采用多核学习MKL-SVR模型；

多核学习时，每个时刻输入数据为多模态认知负荷检测指标数据x_t，x_t∈R^d，输出认知负荷度y_t，其中，d表示输入数据的维度，包含睁眼幅度、闭眼时间、眨眼频率、扫描路径长度、凝视点个数与时长、扫视点个数、转头速度以及表情共9个维度数据，t表示时刻；

多核学习时采用多项式核、Sigmoid核和高斯核，并优化MKL-SVR模型的网络参数，获得能够实现多模态认知负荷度检测的认知负荷度检测模型。

6.如权利要求1所述的仓储拣选任务中的实时认知负荷与疲劳度检测方法，其特征在于，所述认知负荷与疲劳度相关性模型采用多核学习MKL-SVR模型；

多核学习时，每时刻的输入数据X_t＝{(p_t,1,p_t,2,…,p_t,n),(q_t,1,q_t,2,…,q_t,m)}，其中，P_t＝{p_t,1,p_t,2,…,p_t,n}为前一固定时间单位内认知负荷序列，p代表认知负荷度元素，n为认知负荷序列长度，Q_t＝q_t,1,q_t,2,…,q_t,m为历史疲劳序列，q代表历史疲劳度元素，m为历史疲劳序列长度，输出数据为下一时刻的疲劳度Y_t+1；

多核学习时采用高斯核与多项式核，并优化MKL-SVR模型的网络参数，获得能够实现疲劳度检测的疲劳度检测模型。

7.如权利要求6所述的仓储拣选任务中的实时认知负荷与疲劳度检测方法，其特征在于，认知负荷序列P_t和历史疲劳序列Q_t在输入MKL-SVR模型之前，还需要进行噪声滤除和通过填充0实现P_t与Q_t的长度对齐。

8.一种仓储拣选任务中的实时认知负荷与疲劳度检测系统，其特征在于，包括设置在仓内的采集设备、集成在采集设备上的微数据处理器、与微数据处理器通信的检测器；

所述采集设备包括摄像头，用于采集仓储拣选工人的离散图像，还包手持扫码枪，用于采集信息片段；

所述微数据处理器用于对离散图像分别进行人脸识别、眼动检测、头部姿态估计以及表情识别，获得人脸、眼动、头部姿态和表情这4个模态的认知负荷检测指标数据；

所述检测器包含训练好的认知负荷度检测模型和疲劳度检测模型，用于采用认知负荷度检测模型对输入的多模态认知负荷检测指标数据进行协同特征提取和认知负荷检测计算，得到多模态认知负荷度检测结果；还用于采用疲劳度检测模型对认知负荷度序列和历史疲劳度序列进行计算，得到仓储拣选工人下一时刻的疲劳度检测结果。