[发明专利]一种融合文本信息的GIF短视频情感识别方法及系统

摘要

本发明公开了一种融合文本信息的GIF短视频情感识别方法及系统，该方法首先利用3D卷积神经网络提取出GIF短视频中序列特征，同时利用卷积神经网络提取出序列中图像视觉特征；再采用卷积长短时记忆递归神经网络技术解码二者融合后的高层语义特征，计算出情感分类概率分布矩阵，将进行区间映射得到视频部分的情感得分。接着，从注释文本中的单词筛选出蕴含情感信息的词汇，采用情感打分工具计算出文本情感得分。最后，将视频情感得分与文本情感得分赋予不同的权重相加并做有效性判别，对GIF短视频进行情感分类。本发明能有效关注GIF视频中图像的情感信息，同时兼顾视频流的时序特征，并且文本信息与视频信息融合，提高了GIF视频情感分类的准确度和鲁棒性。

主权项

1.一种融合文本信息的GIF短视频情感识别方法，其特征在于，包括如下步骤：(1)将带有注释文本的GIF短视频按照设定帧率分割为若干候选帧图像；(2)利用3D卷积神经网络C3D提取由设定长度的候选帧图像组成的视频片段的序列特征，同时利用卷积神经网络CNN按顺序提取相应视频片段中帧图像的图像特征，将序列特征与图像特征串联融合；(3)将步骤(2)融合后的视频片段特征输入到卷积长短时记忆神经网络中进行解码，并使用softmax分类器获得GIF短视频所属情感类别的概率矩阵，将其从分类概率区间映射到情感分值区间后，作为视频部分的情感得分；(4)将与GIF短视频内容相关联的注释文本进行分词处理、词形还原，根据构建的同义词森林筛选出情感词组标签，并输入到情感打分工具中获得注释文本的情感得分；(5)将步骤(3)与步骤(4)的视频情感得分与文本情感得分赋予不同的情感权重后相加，采用自适应阈值法对分值进行有效性判断后作为描述GIF短视频的情感丰富程度的得分，并根据分值的正负性对GIF短视频进行情感分类；所述情感权重和阈值根据样本数据的预测情感类别与真实情感类别的损失函数，采用梯度下降法自学习得到。