[发明专利]一种基于三级图像特征与图数据文本的多模态情感分析方法

摘要

一种基于三级图像特征与图数据文本的多模态情感分析方法，获取由图像和文本组成的评论数据集；采用BiGCN模型提取文本特征，并进行情感分析得到情感值M1；采用包括一个主网络、四个分支以及融合层和分类层的CNN模型提取图像中的低级特征、中级特征以及高级特征，特征融合后进行情感分析得到情感值M2；将情感值M1和情感值M2进行结果层面上的融合，得到融合情感值M；融合文本特征和图像特征进行讽刺识别，依据讽刺识别结果，确定最终情感值本发明结合了图像的低、中、高三级特征以及图数据的文本特征，大大降低了情感识别的误差，同时具有良好的通用性；通过引入讽刺识别，能更加精准地识别出情感极性。