[发明专利]一种跨模态情感预测方法

说明书

本发明公开了一种跨模态情感预测方法，涉及自然语言信息处理技术领域。其主要步骤如下：（1）对跨模态图片文本数据进行预处理；（2）构建神经网络跨模态情感预测模型，包括构建图像‑文本编码模块，跨模态对齐模块，跨模态融合模块，跨模态关联性学习模块和情感分类模块；（3）在训练集上训练神经网络跨模态情感预测模型；（4）分别在验证集、测试集上对神经网络跨模态情感预测模型进行验证和测试。

技术领域

本发明涉及自然语言信息处理技术领域，尤其涉及一种跨模态情感预测方法。

背景技术

随着社交媒体和互联网技术的飞速发展，Twitter、微博等社交网络平台已成为用户发布内容的重要方式。人们倾向于将图像和文本一起发布以表达他们的情感或意见，因此越来越多的推文同时具有文本和视觉内容。传统情感分析只考虑了文本内容而忽略了视觉模态的作用，这给社交媒体分析和情感预测带来新的挑战。基于此，跨模态情感预测近年来受到了广泛关注，它旨在从文本和图像等跨模态数据中确定人们对主题或商品的情感极性。

迄今为止，国内外研究人员提出了一系列跨模态情感预测的方法，大致都遵循“先抽取再融合”的范式。即，先分别抽取文本和视觉内容的单模态特征，再使用不同的融合策略聚合这些特征用以情感预测。通过对现有的专利及相关技术的检索发现，现有的与跨模态情感预测有关的方法有：

（1）耿玉水,张康,赵晶,刘建鑫,李文骁. 一种基于张量融合网络的社交媒体情感分析方法及系统[P].提出了一种基于张量融合网络的社交媒体情感分析方法。该方法首先分别提取多模态信息的文本特征和图像特征，然后使用张量融合方法将文本特征和图像特征进行融合得到多模态特征。最后将多模态特征输入全连接层完成情感分类。

（2）丁健宇,祁云嵩,马崟桓,赵呈祥. 基于特征融合的多模态社交媒体情感分析方法[P].提出了一种基于特征融合的多模态社交媒体情感分析方法。该方法采用多头注意力机制提取文本情感特征，采用深度残差网络提取图像情感特征，最后将两种特征拼接起来进行情感分类计算。

（3）甘臣权,冯庆东,付祥,张祖凡. 基于多模态交互融合网络的图文情感分析方法及系统[P].提出了一种基于多模态交互融合网络的图文情感分析方法及系统。该系统采用空洞卷积神经网络、LSTM和注意力机制构建文本特征提取模块，使用深度卷积网络构建视觉特征提取模块，并采用多个具有不同神经元的多模态交互网络建模不同粒度的图文特征。最后通过多层感知机获取图文情感倾向。

可以看出现有的跨模态情感分析方法虽然取得了不错的效果，但依然存在着以下不足：（1）大多数方法忽略了模态之间的关联性，即单模态蕴含的情感可能彼此不一致，这会导致多模态情感预测效果不佳。（2）大部分方法只聚焦于不同模态的融合，而忽略了不同模态之间的对齐。（3）大多数方法仅使用简单的相加、拼接对不同模态特征进行融合，难以建模跨模态之间的复杂语义交互。

鉴于以上陈述的已有方案的不足，本发明旨在提供更简单的、更完善的方案，并使之克服现有技术的以上缺点。

发明内容

本发明的目的是提供一种跨模态情感预测方法，它能有效地解决多模态情感预测更加准确的技术问题。

本发明的目的是通过以下技术方案来实现的：

1. 一种跨模态情感预测方法，包括以下步骤：

步骤一、对待分析的跨模态情感的图片、文本数据进行预处理：

(1)将每张输入图片转换为大小为224×224像素的图像，记为；

(2)将文本数据的每个输入句子通过插入两个特殊标记进行预处理，即将[CLS]添加到句子开头，[SEP]附加到句子末尾，记为；

(3)将预处理后的图像文本数据按照8:1:1的比例划分为训练集、验证集和测试集；

步骤二、构建神经网络跨模态情感预测模型：