[发明专利]一种基于神经网络的多模态情感分类方法

说明书

一种基于神经网络的多模态情感分类方法，具体涉及一种基于多模态情感分类的神经网络模型的分类方法，本发明为了解决传统的情感分类方法大多针对单一类型的数据，并不能处理社交网络坏境下多模态的混合信息的问题，它包括提取待预测情感图片中的多模态数据；提取多模态数据中各单模态的原始向量；根据各模态的原始向量计算各模态的指导向量；获得各模态的重构特征向量；利用注意力机制对得到的各模态的重构特征向量进行加权平均，生成融合特征向量；将得到的融合特征向量输入至情感分类模型中，输出分类结果。本发明用于对社交网络坏境下多模态的混合信息进行情感分类，属于自然语言处领域。

技术领域

本发明涉及一种神经网络模型的分类方法，具体涉及一种基于多模态情感分类的神经网络模型的分类方法，属于自然语言处理领域。

背景技术

社交网络用户在社交网络平台上发布着大量的多源、异构的混合信息。信息是用户表达情感、行为交互的主要载体和手段，精确的描述和表示信息是提取社交网络中多模态的混合信息所蕴含的情感标签的基础，为进行用户情感分类与情感传播模型研究提供基础支撑。由于人们在社交网络空间上的行为是其在现实社会中的行为的映射，分类信息中隐藏的观点和情感蕴含着巨大的学术价值和应用价值。在时代信息爆炸的背景下，用户生成的信息规模巨大、类型多样、结构不一，如何从这些信息中提取出隐藏的具有重要价值的观点及情感面临着巨大的挑战。

在社交网络上，混合信息之间存在着由于的交互产生的各种关系，同时也存在着语义上的关联。传统的情感分类方法大多数针对单一类型的数据，如文本或图片或者视频，并不能处理社交网络坏境下多模态的混合信息的情形。除此之外，传统方法还假设上述信息是独立分布的，它们之间不存在任何关联。然而在实际的社交网络背景下这个假设并不成立。一个用户在社交网络上的行为具有一致性，因此用户发布的信息也同样具有一致性的特性。

发明内容

本发明为了解决传统的情感分类方法大多针对单一类型的数据，并不能处理社交网络坏境下多模态的混合信息的问题，进而提出了一种基于神经网络的多模态情感分类方法。

本发明采取的技术方案是：

一种基于神经网络的多模态情感分类方法，它包括以下步骤：

S1、提取待预测情感图片中的多模态数据，多模态数据包括图片模态、图片对应的标签词模态和文本模态；

S2、分别提取S1中图片模态、图片对应的标签词模态和文本模态的原始向量；

S3、根据S2得到的各模态的原始向量分别计算各模态的指导向量；

S4、分别对S3中得到的各模态的指导向量进行表征混合，获得各模态的重构特征向量；

S5、利用注意力机制对S4中得到的各模态的重构特征向量进行加权平均，生成融合特征向量；

S6、将S5中得到的融合特征向量输入至情感分类模型中，输出分类结果。

所述S1中，提取待预测情感图片中的图片模态、图片对应的标签词模态和文本模态的方法包括：

利用图像训练集对ResNet 101模型进行训练，训练完成后的ResNet 101模型作为标签词预测器，将待预测情感图片输入标签词预测器内，并提取待预测情感图片的标签词，得到图片模态、图片对应的标签词模态和文本模态。

图像训练集的输入集是图片，输出集是每张待预测情感图片的标签词。

所述S2中，分别提取S1中图片模态、图片对应的标签词模态和文本模态的原始向量的方法为：

利用ResNet 50V2模型提取图片模态的原始向量

I_i表示图片上任意一个区域，i＝1、2、…N_r；