[发明专利]基于表情行为特征提取的通过视频评估学习专注力的方法

权利要求书

1.一种基于表情行为特征提取的通过视频评估学习专注力的方法，其特征在于：包括以下步骤：

步骤S1：通过视频收集学生行为动作图像，进行数据增强处理，利用AlphaPose提取人体骨架信息，利用Ultra-Light-Fast-Generic-Face-Detector-1M提取人脸信息；

步骤S2：对人体骨架进行预处理，并将其编码转换为图像，构造运动特征，搭建神经网络分类器，并基于人体运动特征数据进行训练，将处理后的图像输入到训练好的神经网络分类器中进行分类，得到分类结果；

步骤S3：将获取的人脸信息，通过VGG-A预训练模型提取特征，然后通过Segmentation网络得到精确的人脸位置，将获取的人脸图像裁剪为25个区域，使用CNN卷积网络提取特征，通过自注意力模块对不同人脸区域进行加权，融合25个区域的局部特征形成整体特征进行表情分类；

步骤S4：融合动作和表情识别结果，通过LSTM网络计算学习专注力结果；

步骤S2具体包括以下步骤：

步骤S21：对得到的人体骨架信息，先将坐标转换为向量，以人体的颈部关节坐标为中心，将其他骨骼点坐标转换为以颈部关节为坐标原点的坐标值，转换公式如下：

v＝P_n-P₀(n＝1,2,3,…,N)

其中P_n表示除颈部关节之外的其他骨骼点坐标，P₀表示颈部关节坐标，所得v为其他骨骼点以颈部关节为起点的向量；

步骤S22：将向量进行归一化，具体公式如下：

其中，H为图片大小；

步骤S23：根据处理获得的骨骼关键点数据，在对应的人体躯干两端之间增加一个中点，得到更为精细的人体姿态；

步骤S24：对于人体骨骼点信息，将x、y和z位置经过处理编码作为RGB图像中的红、绿和蓝通道值：其中蓝色通道设置为0或1，红、绿通道规范化为0到1的连续范围内的值；再将图中的骨骼关键点位置规格化为0-255；

步骤S25：将转换获得的像素值，按照人体上半身部位位置进行排列；依次将头部、身体部位加入矩阵；

步骤S26：搭建神经网络分类器：包括三层对处理完的图片进行卷积提取特征的卷积层、对数据按批进行归一化的批量归一层、线性整流层和用于进行分类的三层全连接层，并利用交叉熵损失函数计算损失；将处理得到的图像输入到神经网络分类器进行训练，得到训练完毕的神经网络分类器；

步骤S27：将处理得到的图像输入到训练完毕的神经网络分类器进行分类；

步骤S3具体包括以下步骤：

步骤S31：将人脸框输入到预训练好的VGG-A模型获取特征，然后通过Segmentation网络输出一个更为精确的掩膜，并得出准确性分数；

所述Segmentation网络由一个1*1的包含ReLU非线性层的卷积层和一个分类层组成；分类的classificationlayer由图像像素总数个像素分类器组成，每一个像素分类器用于识别给定的像素是否属于输入框中心的目标；

步骤S32：将获取的人脸图像随机剪裁为25个不重叠的部分，然后经过CNN卷积网络进行特征提取：

将局部区域提取的特征经过全连接层，然后通过激活函数得到对应的权重：

其中μ_i为第i个剪裁区域的权重，f_I为第i个剪裁区域提取的特征，q⁰表示全连接层的参数，f表示激活函数；T为矩阵转置；

将局部区域进行加权表示为整体特征，然后将区域局部特征与整体特征作一个concat操作，经过全连接层和激活函数，融合局部与整体的特征得到权重，最后经过全连接层进行分类：

整体特征表示为：

其中F_m为整体特征，μ_i为第i个剪裁区域的权重，f_i为第i个剪裁区域提取的特征；

局部和整体的权重：

ρ_i＝f((F_i:F_m)^Tq¹)

ρ_i为局部和整体特征的权重，q¹表示全连接层的参数；同理，对特征进行加权得到局部和整体特征结合的全局特征：

其中F_all为处理得到的全局特征。