[发明专利]一种跨模态情感预测方法

权利要求书

1.一种跨模态情感预测方法，其特征在于：所述跨模态情感预测方法包括以下步骤：

步骤一、对待分析的跨模态情感的图片、文本数据进行预处理：

(1)将每张输入图片转换为大小为224×224像素的图像，记为；

(2)将文本数据的每个输入句子通过插入两个特殊标记进行预处理，即将[CLS]添加到句子开头，[SEP]附加到句子末尾，记为；

(3)将预处理后的图像文本数据按照8:1:1的比例划分为训练集、验证集和测试集；

步骤二、构建神经网络跨模态情感预测模型：

(1)构建图像-文本编码模块：

使用预训练模型ResNet作为视觉编码器，对步骤一中预处理后的图像，进行编码获得图像特征；

使用预训练模型BERT作为文本编码器，对步骤一中预处理后的文本，进行编码获得文本特征；

(2)构建跨模态对齐模块：

根据图像特征和文本特征构建正负样本，具体地，首先将预处理后的图像、文本数据分为两个以上的批次，对同一批次内的图文输入对进行样本分类，将来自相同输入对的图文特征记为正样本，来自不同输入对的图文特征记为负样本；

将每个输入对导入并经过两个不同的全连接层，得到对齐后的图文特征向量，并以此计算对比损失函数；

(3)构建跨模态融合模块：

利用多头注意力机制融合图文特征向量，得到融合后的跨模态特征,即：；其中，表示多头注意力机制，包括层归一化和残差连接；

(4)构建跨模态关联性学习模块：

对于对齐后的图像特征向量和文本特征向量，分别构建两个变分自编码器和，即：

其中，表示训练集大小，表示训练集中图像的隐含变量，表示训练集中文本的隐含变量，表示第个样本中图像的后验分布，表示第个样本中文本的后验分布；

定义第个样本中图像特征和文本特征之间的跨模态关联分数，即：

其中，表示KL散度，表示第个样本中文本特征到图像特征的关联分数，表示第个样本中图像特征到文本特征的关联分数；

(5)构建情感分类模块：

将文本特征向量与跨模态特征按照关联分数进行拼接，得到最终的情感特征，即：；将情感特征传入到带有一个隐含层的多层感知机，获得情感倾向的概率分布，并计算分类损失函数；

步骤三、训练神经网络跨模态情感预测模型：

神经网络跨模态情感预测模型的训练数据是采用步骤一所述的训练集中的数据，训练目标是最小化整体损失函数，并使用Adam优化器优化网络参数；神经网络跨模态情感预测模型的整体损失函数，由分类损失函数和对比损失函数加权求和而成，

即：

其中，为超参数；

步骤四、验证和测试神经网络跨模态情感预测模型：

采用步骤一中预处理后的验证集，对神经网络跨模态情感预测模型进行验证，选取超参数对神经网络跨模态情感预测模型进行优化；再将步骤一所述的测试集中的图像文本数据，输入到经过训练和验证后的神经网络跨模态情感预测模型中，即可进行跨模态情感预测并获得情感倾向。