[发明专利]一种基于多模态融合的社交情感分类方法

权利要求书

1.一种基于多模态融合的社交情感分类方法，其特征在于：包括情感特征提取和融合两个步骤；

所述情感特征提取步骤包括：利用CNN-RNN混合模型提取文本信息中的情感特征并进行分类处理；利用3DCLS模型提取视觉信息中的时空特征，卷积LSTM对时空特征序列进行分类处理；利用OpenSMILE工具提取音频特征，再进行情感分类预测；

所述融合步骤为将特征提取获得的结果利用决策融合方法进行异质性融合。

2.根据权利要求1所述一种基于多模态融合的社交情感分类方法，其特征在于：所述CNN-RNN混合模型对文本信息的处理包括以下步骤：

S11：对输入的文本信息进行预处理，并将其标记为一个单词序列；

S12：将句子向量视为图像，并通过线性过滤器对其进行卷积；

S13：对卷积后的每个输出序列t_j应用一个非线性激活函数f来产生一个特征映射；

S14：将S13进行特征映射后获得的特征向量馈送到CNN的下一层以进一步卷积，卷积过程与S13一样，将卷积后的结果作为RNN的输入；

S15：将隐藏状态的输出看作是RNN的最后一步，使用softmax层对文本进行预测分类，然后将交叉熵损耗从RNN反向传播到CNN以更新CNN-RNN模型的权重。

3.根据权利要求1所述一种基于多模态融合的社交情感分类方法，其特征在于：视觉信息提取的步骤如下：

S21：使用C3D从输入视频中提取时空特征，每段视频剪辑为长度为16的序列片段，将序列片段作为输入信息；

S22：视频V划分为T个片段，V＝(v₁,v₂,…,v_t,...,v_T)，其中v_t是V的第t个片段，K是片段的长度，N表示帧数，接下来，使用3-D CNN网络对每个分割片段进行编码，从而产生图像帧序列X＝(x₁,x₂,…,x_T)；

S23：将隐藏状态的输出看作LSTM的最后一步，使用softmax层对视觉信息进行预测分类。

4.根据权利要求3所述一种基于多模态融合的社交情感分类方法，其特征在于：所述C3D网络有8个卷积，5个最大池化层和2个完全连接层，然后是一个softmax输出层。

5.根据权利要求1到4任一项所述一种基于多模态融合的社交情感分类方法，其特征在于：提取音频情征的步骤包括，从视频的每个注释片段中使用开源软件openSMILE自动提取音频特征，然后将音频特征使用SVM进行情感分类预测。

6.根据权利要求1或2或3或4所述一种基于多模态融合的社交情感分类方法，其特征在于：所述决策融合方法：

S31：分别将三个分类处理的结果输入分类器；

S32：从每个分类器中获得每个情感类别的概率分数；

S33：使用加权和法则，将每个情感类别的概率相加，然后选择最大的标签。