[发明专利]一种基于上下文交互关系的情绪识别方法

权利要求书

1.一种基于上下文交互关系的情绪识别方法，其特征在于，包括下述步骤：

对数据集中的图片进行人脸检测和人体检测，得到人脸边界框和人体边界框；

基于所述人脸边界框和人体边界框对图片进行预处理，将每张真实图片分割成人脸图片、具有掩码的身体图片和具有掩码的场景图片；

将人脸图片、身体图片和场景图片进行随机裁剪、缩放和数据归一化，作为训练图像元组；

构建基准神经网络，包括三个相同的ResNet18网络和一个分类全连接层，用于深度情绪特征的提取和分类，

采用ImageNet预训练参数对基准神经网络进行初始化，对基准神经网络的分类器采用随机初始化；

构建用于捕捉交互关系的交互模块，包括特征融合部分和相似度量部分，所述特征融合部分用于融合人脸、身体和场景特征，所述相似度量部分用于求通道特征间相似矩阵；

对交互模块的参数采用随机初始化和常数初始化，将交互模块插入到基准神经网络的第二层和第四层；

采用基准神经网络提取得到人脸、身体和场景三个支路的特征，将人脸、身体和场景三个支路的特征在通道维度进行拼接，并采用线性组合的方式融合成三组交互特征，将其中两组交互特征在通道维度内积，得到相似性矩阵，矩阵的每个元素代表交互特征内两个通道特征之间的相似度，将相似性矩阵与第三组交互特征在通道维度相乘，使得第三组交互特征内的通道特征经过相似加权融合，并且作为交互特征加入到人脸、身体和场景支路，联合人脸特征、身体特征和场景特征进行表情分类；

所述将人脸、身体和场景三个支路的特征在通道维度进行拼接，并采用线性组合的方式融合成三组交互特征，具体步骤包括：

将人脸、身体和场景的特征拼接后得到拼接特征X，采用带有d*C个卷积核的卷积层进行处理得到通道特征V、通道特征Q、通道特征K，采用带有C个卷积核的卷积层将通道特征V转换成线性组合特征Y，

所述将其中两组交互特征在通道维度内积，得到相似性矩阵，具体步骤包括：

将通道特征V、通道特征Q、通道特征K沿通道方向变形成矩阵的形式，并转置通道特征Q的矩阵，将通道特征K的矩阵与通道特征Q的矩阵相乘，得到矩阵W，矩阵的每个元素代表K和Q两个通道特征做内积求得的相似度；

所述将相似性矩阵与第三组交互特征在通道维度相乘，使得第三组交互特征内的通道特征经过相似加权融合，具体步骤包括：

矩阵W的数值除以矩阵的第二维度的平方根，并且采用softmax函数在第二维度归一化；

采用矩阵W乘以通道特征V的矩阵进行相似加权融合，经过卷积层转换成交互矩阵；

其中，X∈R^3CxHxW，V∈R^dCxHxW，Q∈R^dCxHxW，K∈R^dCxHxW，Y∈R^CxHxW，C，H和W分别是特征的通道数、高度和宽度，d表示用于调节卷积核数量的乘子；

将训练图像元组输入插有交互模块的基准神经网络，得到预测分数，结合二分类交叉熵损失函数进行损失计算和梯度计算，并通过反向传播同时更新基准神经网络和交互模块的参数；

将待测图像输入插有交互模块的基准神经网络得到预测分数，所述预测分数超过设定值阈值时，判定出现对应的情绪类别。

2.根据权利要求1所述的基于上下文交互关系的情绪识别方法，其特征在于，所述对数据集中的图片进行人脸检测和人体检测，具体包括下述步骤：

若在识别中不存在人体边界框或者人脸边界框，则设定该人体边界框的左上横坐标、左上纵坐标、右下横坐标、右下纵坐标分别为0.25倍图像宽度、0.25倍图像高度、0.75倍图像宽度、0.75倍图像高度，人脸边界框的左上横坐标、左上纵坐标、右下横坐标、右下纵坐标分别为0.375倍图像宽度、0.375倍图像高度、0.625倍图像宽度、0.625倍图像高度；

若存在单个人体边界框和人脸边界框，则裁剪出人体边界框的参考人体数据和人脸边界框内的参考人脸数据，保留人体关键点和人脸关键点数据；

若存在多个人体边界框和人脸边界框，则裁剪出其中面积最大人体边界框内的参考人体数据和其中面积最大人脸边界框内的参考人脸数据，保留人体关键点和人脸关键点数据。