[发明专利]一种基于异质融合网络的多模态情感分类方法

说明书

本发明公开了一种基于异质融合网络的多模态情感分类方法，属于意见挖掘和情感分析技术领域。包括：1)视频数据预处理；2)构建文本特征向量和识别文本情感类别；3)构建图片特征向量和识别图片情感类别；4)构建音频特征向量和识别音频情感类别；5)构建多模态全局特征向量与识别多模态全局情感类别；6)构建多模态局部特征向量与识别多模态局部情感类别；7)采用投票策略获得最终的情感分类结果。异质融合网络采用了模态内融合和模态间融合两种融合形式，宏观和微观两种融合角度，以及特征层融合和决策层融合两种融合策略。所述方法能深度挖掘多模态数据之间隐含的关联信息，实现多模态数据之间的相互补充和融合，从而提高多模态情感分类的准确率。

技术领域

本发明涉及一种基于异质融合网络的多模态情感分类方法，属于意见挖掘和情感分析技术领域。

背景技术

多模态情感分类是社会计算和大数据挖掘领域的重要研究课题。多模态情感分类是指根据网络用户评论的文本、图片和视频等多种模态数据识别网络用户的情感极性。情感极性包括消极和非消极两种类别。

多模态情感分类方法包括基于特征层融合的多模态情感分类方法和基于决策层融合的多模态情感分类方法。

基于特征层融合的多模态情感分类方法，首先构建各种模态数据的特征向量，然后融合单种模态数据的特征向量进行情感分类。例如，一种基于注意力机制的长短期记忆网络模型进行多模态情感分类。首先，提取文本、音频和视觉单种模态数据的特征；其次，利用注意力机制融合文本、音频和视频特征；最后，利用基于注意力机制的长短期记忆网络模型进行情感分类。再如，一种基于模态共同表示和模态特殊表示的多模态情感分类方法。首先，学习文本、音频和视觉三种模态数据的模态共同表示和模态特殊表示，其中模态共同表示用于学习各种模态数据的共同特征，将所有模态数据映射到一个子空间，减少各种模态表示之间的差距；模态特殊表示用于学习各种模态数据的独有特征。然后，融合模态共同表示和模态特殊表示，并利用Transformer进行多模态情感分类。

基于决策层融合的多模态情感分类方法，首先获取单种模态数据的分类结果，然后利用投票、加权求和等方法，获得多模态数据的情感分类结果。例如，针对图片和音频两种模态数据进行多模态情感分类。首先，提取图片特征和识别情感类别，并提取音频特征和识别情感类别；然后，采用加权求和的方法预测情感类别。再如，一种基于树形决策融合策略的多模态情感分类方法。首先，提取图片特征进行情感分类，并获得情感得分。然后，提取音频特征进行情感分类，并获得情感得分。最后，融合图片特征及其情感得分与音频特征及其情感得分，采用树形决策融合策略进行多模态情感分类。

现有的多模态情感分类方法主要存在如下问题：第一，目前多模态情感分类方法主要采用端到端的学习方式，直接对文本、图片等多模态数据进行编码，然后在特征层融合各种模态数据的特征向量，或在决策层融合各种模态数据的情感分类结果。这些方法难以挖掘各种模态数据内部的不同粒度特征。第二，多模态情感分类方法中多模态数据的融合方法单一，难以挖掘多模态数据隐含的关联特征，导致多模态情感分类的准确率不高。

发明内容

本发明的目的是为了解决现有多模态情感分类方法存在融合方法单一、难以挖掘多模态数据隐含的关联特征，导致多模态情感分类准确率不高的问题，提供一种基于异质融合网络的多模态情感分类方法，该方法从网络用户发布的视频中提取文本、图片、音频三种模态数据，利用基于深度学习的异质融合网络模型，分别识别文本、图片、音频以及整体视频的情感类别。

为了达到上述目的，本发明采取如下技术方案。

所述基于异质融合网络的多模态情感分类方法依托于异质融合网络模型；该异质融合网络模型包括三层融合层：

(1)第一融合层为单模态数据的特征融合层，包括文本特征构建模型、图片特征构建模型和音频特征构建模型；

(2)第二融合层为多模态数据的特征融合层，包括子层1多模态全局特征构建模型、子层2多模态局部特征构建模型；