[发明专利]一种基于神经网络的多模态情感分类方法

权利要求书

1.一种基于神经网络的多模态情感分类方法，其特征在于：它包括以下步骤：

S1、提取待预测情感图片中的多模态数据，多模态数据包括图片模态、图片对应的标签词模态和文本模态；

S2、分别提取S1中图片模态、图片对应的标签词模态和文本模态的原始向量；

S3、根据S2得到的各模态的原始向量分别计算各模态的指导向量；

S4、分别对S3中得到的各模态的指导向量进行表征混合，获得各模态的重构特征向量；

S5、利用注意力机制对S4中得到的各模态的重构特征向量进行加权平均，生成融合特征向量；

S6、将S5中得到的融合特征向量输入至情感分类模型中，输出分类结果。

2.根据权利要求1中所述的一种基于神经网络的多模态情感分类方法，其特征在于：所述S1中，提取待预测情感图片中的图片模态、图片对应的标签词模态和文本模态的方法包括：

利用图像训练集对ResNet 101模型进行训练，训练完成后的ResNet 101模型作为标签词预测器，将待预测情感图片输入标签词预测器内，并提取待预测情感图片的标签词，得到图片模态、图片对应的标签词模态和文本模态。

3.根据权利要求2中所述的一种基于神经网络的多模态情感分类方法，其特征在于：图像训练集的输入集是图片，输出集是每张待预测情感图片的标签词。

4.根据权利要求1中所述的一种基于神经网络的多模态情感分类方法，其特征在于：所述S2中，分别提取S1中图片模态、图片对应的标签词模态和文本模态的原始向量的方法为：

利用ResNet 50 V2模型提取图片模态的原始向量

I_i表示图片上任意一个区域，i＝1、2、…N_r；

利用Bert模型提取图片对应的标签词模态的原始向量e(a_f)

e(a_f)＝Bert(a_f) 公式2

a_f表示任意一个标签词，f＝1、2、…N_a；

利用Bert模型提取文本模态的原始向量r(t_h)

r(t_h)＝Bert(t_h) 公式3

t_h表示任意一条文本信息，h＝1,2…L。

5.根据权利要求4中所述的一种基于神经网络的多模态情感分类方法，其特征在于：所述Bert模型为distilbert-base-uncased-finetuned-sst-2-english模型。

6.根据权利要求4中所述的一种基于神经网络的多模态情感分类方法，其特征在于：所述S3中，根据S2得到的各模态的原始向量分别计算各模态的指导向量的方法为：

计算图片模态的指导向量v_image

N_r表示图片上区域的个数；

计算图片对应的标签词模态的指导向量v_attr；

N_a表示标签词的数量；

α_f表示任意一个标签词模态的权重值；

计算文本模态的指导向量v_text；

L表示文本的长度。

7.根据权利要求1中所述的一种基于神经网络的多模态情感分类方法，其特征在于：所述S4包括：

分别对S3中得到的各模态的指导向量进行表征混合，获得的各模态权重值总和的平均值

m表示任意一个模态；

n表示除模态m外的其他模态；

表示任意一个模态的权重值；

利用公式7获得各模态的重构特征向量v_m，各模态的重构特征向量v_m相等：

表示模态m下的第j个原始向量；

L_m表示序列的长度。