[发明专利]一种基于三级图像特征与图数据文本的多模态情感分析方法

说明书

一种基于三级图像特征与图数据文本的多模态情感分析方法，获取由图像和文本组成的评论数据集；采用BiGCN模型提取文本特征，并进行情感分析得到情感值M₁；采用包括一个主网络、四个分支以及融合层和分类层的CNN模型提取图像中的低级特征、中级特征以及高级特征，特征融合后进行情感分析得到情感值M₂；将情感值M₁和情感值M₂进行结果层面上的融合，得到融合情感值M；融合文本特征和图像特征进行讽刺识别，依据讽刺识别结果，确定最终情感值本发明结合了图像的低、中、高三级特征以及图数据的文本特征，大大降低了情感识别的误差，同时具有良好的通用性；通过引入讽刺识别，能更加精准地识别出情感极性。

技术领域

本发明属于计算机视觉与自然语言处理技术领域，特别涉及一种基于三级图像特征与图数据文本的多模态情感分析方法。

背景技术

与情感相关的图像特征大致可以分为低级的视觉特征(如颜色、线条和纹理)、中级的图像美学(如构图、强调和视觉平衡)以及高级的图像语义。网络图像的情感主要与图像语义相关，艺术照片的情感主要与图像美学有关，抽象画的情感则主要与视觉特征有关。图像语义、图像美学以及视觉特征等不同层次的深度表征对不同类型图像进行情感分析的影响程度不同。针对单一类型的图像进行情感分析的研究具有较差的通用性，例如，AlexNet适应于对具有高级语义特征的图像进行情感分析；A-CNN则针对于中级的美学特征；T-CNN侧重于基于低级视觉特征的图像情感分析。

社交媒体中的用户与用户之间是存在联系的，其情感也会受到不同程度的影响，现有技术中进行情感分析时只考虑文本，而未考虑用户间的关系，由此会产生一定误差。

另外，讽刺作为一种语言表达方式，广泛存在于用户的社交中，其直观意思与实际表达意思是相反的，但现有技术中的情感分析较难识别这一点。

发明内容

为了克服上述现有技术的缺点，本发明的目的在于提供一种基于三级图像特征(低级、中级以及高级特征)与图数据文本的多模态情感分析方法，其要解决的问题包括：(1)图像情感分析的通用性问题。(2)由于未充分考虑用户间的关系信息而导致的误差问题。(3)无法精确识别讽刺表达的问题。

为了实现上述目的，本发明采用的技术方案是：

一种基于三级图像特征与图数据文本的多模态情感分析方法，包括如下步骤：

步骤1，获取由图像和文本组成的评论数据集；

步骤2，采用BiGCN模型提取文本特征，并进行情感分析得到情感值M₁；

步骤3，采用CNN模型提取图像中不同层次的图像特征；

所述CNN模型包括一个主网络、四个分支以及融合层和分类层；所述主网络包括依次的四个卷积层，每个卷积层后设置一个分支；其中第一个卷积层和第二个卷积层提取图像的低级特征，即视觉特征；第三个卷积层提取图像的中级特征，即图像美学特征；第四个卷积层提取图像的高级特征，即图像语义特征；各分支包括标准化层和全连接层，各卷积层的输出标准化后通过全连接层，然后在融合层进行特征融合，并进行情感分析得到情感值M₂；

步骤4，将情感值M₁和情感值M₂进行结果层面上的融合，得到融合情感值M；

步骤5，融合所述文本特征和所述图像特征进行讽刺识别，依据讽刺识别结果，确定最终情感值公式如下：

其中，S表示讽刺识别结果，S＝1，表示识别为讽刺，S＝0，表示识别为非讽刺；

当表示积极；当表示中立；当表示消极。