[发明专利]一种基于三级图像特征与图数据文本的多模态情感分析方法

权利要求书

1.一种基于三级图像特征与图数据文本的多模态情感分析方法，其特征在于，包括如下步骤：

步骤1，获取由图像和文本组成的评论数据集；

步骤2，采用BiGCN模型提取文本特征，并进行情感分析得到情感值M₁；

步骤3，采用CNN模型提取图像中不同层次的图像特征；

所述CNN模型包括一个主网络、四个分支以及融合层和分类层；所述主网络包括依次的四个卷积层，每个卷积层后设置一个分支；其中第一个卷积层和第二个卷积层提取图像的低级特征，即视觉特征；第三个卷积层提取图像的中级特征，即图像美学特征；第四个卷积层提取图像的高级特征，即图像语义特征；各分支包括标准化层和全连接层，各卷积层的输出标准化后通过全连接层，然后在融合层进行特征融合，并进行情感分析得到情感值M₂；

步骤4，将情感值M₁和情感值M₂进行结果层面上的融合，得到融合情感值M；

步骤5，融合所述文本特征和所述图像特征进行讽刺识别，依据讽刺识别结果，确定最终情感值公式如下：

其中，S表示讽刺识别结果，S＝1，表示识别为讽刺，S＝0，表示识别为非讽刺；

当表示积极；当表示中立；当表示消极。

2.根据权利要求1所述基于三级图像特征与图数据文本的多模态情感分析方法，其特征在于，所述步骤2，采用原始图与特征图的双图模式提取文本特征，所述原始图表示文本以及文本间的关系，依据用户间的关系构建，表示为G(V,E)，V表示节点，评论数据集的每个文本为一个节点，E表示边，代表文本间的关系；V＝{1,…,n}，n为评论数据集中的文本数量也即节点数量；所述特征图基于评论间的潜在关系构造，表示为Gf。

3.根据权利要求2所述基于三级图像特征与图数据文本的多模态情感分析方法，其特征在于，对所述原始图进行逐列滤波，对所述特征图进行逐行滤波，对两者得到的特征取均值经过BiGCN模型的一层得到文本特征。

4.根据权利要求3所述基于三级图像特征与图数据文本的多模态情感分析方法，其特征在于，所述BiGCN模型中，加入原始图以及特征图上的拉普拉斯正则化得：

其中，Y为原始图的特征矩阵，L₁是原始图的归一化矩阵，Y^T为特征图的特征矩阵，L₂是特征图的归一化矩阵，F＝H^(l)是BiGCN模型第l层的输出，λ′₁，λ′₂是拉普拉斯正则化超参数，该式的最优解等于微分方程的解：

λ′₁L₁Y+λ′₂YL₂＝F-Y

将此微分方程转化为具有等式约束的双准则优化问题.

然后采用ADMM方式进行更新迭代，用一阶泰勒展开式近似来降低复杂度，在经过两次迭代后取Y₁和Y₂的均值作为特征输出Y的近似解。

5.根据权利要求4所述基于三级图像特征与图数据文本的多模态情感分析方法，其特征在于，通过列低通滤波器更新Y₁，通过行低通滤波器更新Y₂，其中，p是超参数，I是单位矩阵；

设置迭代初始值Y⁰＝0，

根据如下更新公式迭代更新得到特征输出Y：

Y＝ADMM(F,L₁,L₂)

式中，k为迭代轮次；

将Y输入至BiGCN模型的第二层，得到所述文本特征。