[发明专利]一种基于图神经网络的中文多模态细粒度情感分析方法

权利要求书

1.一种基于图神经网络的中文多模态细粒度情感分析方法，其特征在于包括以下步骤：

步骤一：获取多模态评论数据，所述多模态评论数据包括中文评论文本、多张图片以及评价类别；

步骤二：获取评论文本中的关键词；

步骤三：获取图片中的ROI；

步骤四：分别将多模态评论数据中的图片和ROI进行编码，得到图片的向量表示和ROI的向量表示；

步骤五：将图片的向量表示和ROI的向量表示输入基于卷积神经网络CNN的图片多标签分类器，得到图片的相关类别和ROI的相关类别；

步骤六：针对评价类别中的每个目标类别，将中文评论文本、目标类别以及图片的相关类别和ROI的相关类别进行拼接，并通过预训练模型BERT进行编码，得到包含上下文语义信息的字级别文本序列向量表示，所述包含上下文语义信息的字级别文本序列向量表示中包括目标类别的字向量和其他字向量；

步骤七：将包含上下文语义信息的字级别文本序列向量表示中的目标类别的字向量进行加和平均，得到目标类别的词向量表示；

步骤八：将包含上下文语义信息的字级别文本序列向量表示分别与图片的向量表示和ROI的向量表示进行拼接，并将拼接结果输入多模态编码器，得到图片的多模态向量表示和ROI的多模态向量表示；

步骤九：将图片的多模态向量表示和ROI的多模态向量表示进行加和平均，得到图片序列的多模态向量表示；

步骤十：根据包含上下文语义信息的字级别文本序列向量表示中的其他字向量得到评论文本中的每个关键词对应的字向量，之后将每个关键词对应的字向量进行加和平均，得到评论文本中的关键词向量表示；

步骤十一：以目标类别的词向量表示、包含上下文语义信息的字级别文本序列向量表示、图片序列的多模态向量表示作为固定节点的向量表示，将固定节点间直接相连建边，得到包含固定节点的多模态异构图；

步骤十二：基于包含固定节点的多模态异构图，将图片的多模态向量表示和ROI的多模态向量表示作为多模态异构图中的图像节点向量表示和ROI节点向量表示，其中ROI按从属性与图片节点相连建边，图片节点与图片序列节点相连建边，若图片或ROI与目标类别相关，则将图片节点或ROI节点与目标类别节点建边，若图片或ROI和目标类别不相关，则不建边，进而得到包含图像节点的多模态异构图；

步骤十三：基于包含图像节点的多模态异构图，以评论文本中的关键词向量表示作为多模态异构图中的关键词节点的向量表示，将关键词节点与文本序列节点固定相连建边，关键词节点互连建边，得到包含文本关键词节点的多模态异构图，即完整的多模态异构图，所述完整的多模态异构图包括节点表示和邻接矩阵；

步骤十四：将节点表示及邻接矩阵作为输入，利用图卷积神经网络得到融合多模态异构图交互信息的目标类别向量表示；

步骤十五：将融合多模态异构图交互信息的目标类别向量表示与包含上下文语义信息的字级别文本序列向量表示及图片序列的多模态向量表示进行拼接后作为输入，输入新的多模态编码器，得到包含多模态融合的隐层向量表示；

步骤十六：将包含多模态融合的隐层向量表示送入线性分类层，得到情感分类结果。

2.根据权利要求1所述的一种基于图神经网络的中文多模态细粒度情感分析方法，其特征在于所述步骤二中获取评论文本中的关键词通过将中文评论文本输入中文关键词提取器Jieba进行。

3.根据权利要求1所述的一种基于图神经网络的中文多模态细粒度情感分析方法，其特征在于所述步骤三中获取图片对应的ROI通过将多模态评论数据中的图片输入目标检测器Detectron2进行。

4.根据权利要求1所述的一种基于图神经网络的中文多模态细粒度情感分析方法，其特征在于所述步骤四中编码通过图像编码器ResNet进行。