[发明专利]一种融合文本信息的GIF短视频情感识别方法及系统

权利要求书

1.一种融合文本信息的GIF短视频情感识别方法，其特征在于，包括如下步骤：

(1)将带有注释文本的GIF短视频按照设定帧率分割为若干候选帧图像；

(2)利用3D卷积神经网络C3D提取由设定长度的候选帧图像组成的视频片段的序列特征，同时利用卷积神经网络CNN按顺序提取相应视频片段中帧图像的图像特征，将序列特征与图像特征串联融合；

(3)将步骤(2)融合后的视频片段特征输入到卷积长短时记忆神经网络中进行解码，并使用softmax分类器获得GIF短视频所属情感类别的概率矩阵，将其从分类概率区间映射到情感分值区间后，作为视频部分的情感得分；

(4)将与GIF短视频内容相关联的注释文本进行分词处理、词形还原，根据构建的同义词森林筛选出情感词组标签，并输入到情感打分工具中获得注释文本的情感得分；

(5)将步骤(3)与步骤(4)的视频情感得分S_v与文本情感得分S_t赋予不同的情感权重后相加，采用自适应阈值法对分值进行有效性判断后作为描述GIF短视频的情感丰富程度的得分，并根据分值的正负性对GIF短视频进行情感分类；所述情感权重和阈值根据样本数据的预测情感类别与真实情感类别的损失函数，采用梯度下降法自学习得到；其中GIF短视频的情感类别为：

S_g(w)＝w·S_v+(1-w)·S_t，Thre(w,t)＝|wS_v+(1-w)S_t|-t，w为情感权重，t为情感有效性阈值；1表示积极情感，-1表示消极情感，0表示中性情感，ε为松弛变量，为预测情感类别。

2.根据权利要求1所述的融合文本信息的GIF短视频情感识别方法，其特征在于，所述步骤(2)中包括：

(2.1)将步骤(1)提取出的视频候选帧图像每连续L帧视为一个序列，使用3D卷积神经网络提取出每个序列的池化五层特征；其中L为设定的序列长度，不足L帧时对最后一帧进行过采样，填补为一个序列；

(2.2)将每个序列中的图像按顺序输入卷积神经网络CNN提取出每帧图像的池化五层特征；

(2.3)将步骤(2.1)中的池化五层序列特征与步骤(2.2)中的池化五层图像特征串联融合作为表示视频片段的底层输入特征。

3.根据权利要求1所述的融合文本信息的GIF短视频情感识别方法，其特征在于，所述步骤(3)将分类概率区间映射到情感分值区间的方法为：对softmax输出的概率矩阵P＝[p₀p₁ p_-1]，取P_max＝max[p₀,p₁,p_-1]，其中p₀为判断为中性情感的概率，p₁为判断为积极情感的概率，p_-1为判断为消极情感的概率，按照如下公式将P_max从概率区间映射到分值区间[-1,1]得到视频情感得分S_v：

4.根据权利要求1所述的融合文本信息的GIF短视频情感识别方法，其特征在于，所述步骤(4)中根据情感词组中每个单词W_i在情感打分工具SentiWordNet中的情感分值，获得文本的情感得分S_t：

其中，n为情感词组中单词的个数。

5.根据权利要求1所述的融合文本信息的GIF短视频情感识别方法，其特征在于，情感权重w和有效性阈值t根据全局损失函数利用梯度下降法学习得到及其对应的参数w和t；其中y_i为实际情感类别，N为总样本数，