[发明专利]一种基于多模态特征融合的社交媒体情感分析方法及系统

权利要求书

1.一种基于多模态特征融合的社交媒体情感分析方法，其特征在于，包括：

获取待识别的图文数据；

从待识别的图文数据中提取文本特征；

从待识别的图文数据中提取图像特征；

将文本特征和图像特征进行跨模态融合，获取文本融合特征和图像融合特征；

根据文本融合特征和图像融合特征进行情感分类识别；

其中，特征融合包括：

将文本特征提取模块和图像特征提取模块输出的特征作为特征融合模块的输入，其中一种是主输入，另一种是副输入，将两种输入模态融合来生成目标模态输出，设一个主输入副输入将主输入E和副输入G投影到同一个共享向量空间中：

上式的是训练参数，d_v表示共享向量空间的维数，使用E_emb和G_emb来计算注意力矩阵M_ij表示主输入的第i个内容与副输入的第j个内容之间的相关性，用下式表示注意力矩阵M：

为了衡量每个副输入对主输入的重要性，使用softmax函数来量化M:

之后就得到了基于注意力机制的副输入J：

J＝G·M^T (5)

最后，主输入E和基于注意力机制的副输入J在全连接层进行拼接，得到融合特征U＝{U₁,U₂,...,U_n}：

U＝tanh(P_u[E_i:J_i]+C_u) (6)

上式中，

2.如权利要求1所述的一种基于多模态特征融合的社交媒体情感分析方法，其特征在于，通过降噪自编码器，从待识别的图文数据中提取文本特征。

3.如权利要求1所述的一种基于多模态特征融合的社交媒体情感分析方法，其特征在于，通过基于注意力的变分自动编码器，从待识别的图文数据中提取图像特征。

4.如权利要求3所述的一种基于多模态特征融合的社交媒体情感分析方法，其特征在于，基于注意力的变分自动编码器的损失函数为：L(φ,μ,a)＝E_qφ(d|a)[logp_μ(a|d)]-βD_KL(q_φ(d|a)||p_μ(d)) 。

5.如权利要求1所述的一种基于多模态特征融合的社交媒体情感分析方法，其特征在于，将文本特征和图像特征输入特征融合模块进行特征融合，具体为：

特征融合模块分别以文本特征为主输入，图像特征为副输入，输出文本融合特征，以图像特征为主输入，以文本特征为副输入，输出图像融合特征。

6.如权利要求1所述的一种基于多模态特征融合的社交媒体情感分析方法，其特征在于，根据主输入和副输入计算输出融合特征的具体过程为：

将主输入和副输入投影到同一个共享向量空间中；

通过注意力机制计算主输入和副输入间的相关性；

通过主输入与主输入和副输入间的相关性，获得基于注意力机制的副输入；

将主输入和基于注意力机制的副输入进行拼接，获得融合特征。

7.如权利要求1所述的一种基于多模态特征融合的社交媒体情感分析方法，其特征在于，将文本融合特征和图像融合特征经全连接层连接后由输出层输出至softmax分类器中进行情感分类识别。