[发明专利]一种专注度识别方法、装置、设备和计算机存储介质

权利要求书

1.一种专注度识别方法，其特征在于，包括：

S1：获取面部图像和专注度，并利用所述面部图像获取人脸图像；

S2：利用RandAugment算法对所述人脸图像进行增强处理，得到预处理人脸图像；

S3：利用改进的ResNet18模型和改进的LSTM模型构建专注度识别模型，所述改进ResNet18模型包括五个级联的卷积层和位于相邻两个所述卷积层之间的SA注意力机制层；所述改进的LSTM模型包括LSTM网络和全局注意力层；

S4：利用所述专注度识别模型对所述预处理人脸图像进行识别，得到专注度的训练预测值；

S5：获取专注度的真实值，利用专注度的真实值和训练预测值计算损失函数，并利用损失函数对所述专注度识别模型进行优化，得到改进的专注度识别模型；

S6：将所述预处理人脸图像输入所述改进的专注度识别模型，得到专注度的预测值，并将所述预测值为最大值的所述专注度作为识别结果。

2.根据权利要求1所述的专注度识别方法，其特征在于，步骤S1包括：

S11：获取包含所述面部图像的人脸视频；

S12：利用OPenCV算法对所述人脸视频进行帧采样，得到所述面部图像；

S13：利用MTCNN模型对所述面部图像进行特征提取，得到所述人脸图像。

3.根据权利要求2所述的专注度识别方法，其特征在于，步骤S13中，所述MTCNN模型包括级联的Pnet模型、RNet模型和Onet模型，步骤S13包括：

S131：根据所述人脸图像的尺寸对所述面部图像进行缩放；

S132：利用所述Pnet模型对经过缩放的所述面部图像进行特征提取，得到多个不同尺寸的第一人脸框；

S133：利用非极大值抑制法计算每个所述第一人脸框的重叠度IoU，并从多个所述第一人脸框中删除重叠度IoU大于阈值的所述第一人脸框，得到多个所述第二人脸框，且重叠度IoU的计算方式为：其中：S₀为重叠面积，S为整体面积；

S134：利用RNet模型对多个所述第二人脸框进行筛选，得到多个第三人脸框；

S135：利用所述Onet模型对多个所述第三人脸框进行筛选，得到第四人脸框和五个面部关键点，且所述第三人脸框和多个所述面部关键点形成初始人脸图像，五个所述面部关键点分别为左眼、右眼、鼻子、左嘴角以及右嘴角；

S136：对所述初始人脸图像依次进行微调和裁剪，得到所述人脸图像。

4.根据权利要求1-3任一项所述的专注度识别方法，其特征在于，步骤S4包括：

S41：将所述预处理图像输入所述改进ResNet18模型，得到所述预处理人脸图像的空间特征；

S42：将所述空间特征输入所述LSTM网络，得到所述空间特征的多个隐藏状态；

S43：利用所述全局注意力层对多个隐藏状态进行加权处理，得到所述预处理面部图像的输出状态；

S44：对所述输出状态进行映射处理，得到所述专注度的训练预测值。

5.根据权利要求4所述的专注度识别方法，其特征在于，步骤S41包括：

S411：将所述预处理人脸图像输入第一个所述卷积层，得到所述预处理人脸图像的多个通道；

S412：将多个所述通道均分为两组，将其中一组的多个所述通道输入所述SA注意力机制层的通道注意力分支进行卷积，得到所述预处理人脸图像的通道注意力特征；将另一组的多个所述通道输入所述SA注意力机制层的空间注意力分支进行卷积，得到所述预处理人脸图像的空间注意力特征；

S413：将所述通道注意力特征和所述空间注意力特征进行拼接，得到第一空间特征；

S414：利用channel shuffle模型去除所述第一空间特征的边界效应，得到第二空间特征；

S415：将所述第二空间特征输入下一个所述卷积层，重复步骤S411-S414，并将第五个所述卷积层的输出结果作为所述预处理人脸图像的空间特征。