[发明专利]一种基于图神经网络的视频情感语义分析方法

说明书

本发明提供了一种基于图神经网络的视频情感语义分析方法，充分考虑视频中人物个体的情感受到其关注的相关人物及物体影响的特点，利用深度学习技术，构建视频中人物与人物之间、人物与物体之间的图结构关联关系，同时结合经典深度学习的3D卷积神经网络来提取情感特征，利用图卷积神经网络结合当前人物与人物之间关系和人物与物体之间的关联关系图结构，能更加准确的判断目标人物的真实情感状态。采用先快速建模人物关系及人物与物体关系，再进行视频深度情感分析的方式，对于侦讯、面试、面签等个性化场景，能达到更好的效果。

技术领域

本发明涉及一种基于图神经网络的视频情感语义分析方法，属于图神经网络、情感分析和机器视觉技术领域。

背景技术

随着深度学习技术的快速发展,以及互联网和云计算时代海量数据和高效计算能力的支撑，以CNN卷积神经网络为代表的深度学习技术，通过训练构建得到类似人脑结构的大规模神经网络，在计算机视觉、语音识别、自然语言理解等领域取得了突破性进展，将会给整个社会带来颠覆性的变化，已经成为未来各国重要的发展战略。

传统的卷积神经网络在文本和图像领域带来提升，但是它仅能处理欧氏空间数据。图神经网络(Graph Neural Network, GNN)是一种能对图数据进行深度学习的方法，包括各类神经网络在图上应用的模型。图是一种由若干个结点(Node)及连接两个结点的边(Edge)所构成的图形，用于刻画不同结点之间的关系。图数据作为一种非欧空间数据，因其普遍存在性逐渐受到关注。图卷积神经网络(Graph Convolutional Network, GCN)是一类采用图卷积的神经网络，作为图神经网络中的一种重要的分支，在计算机视觉领域已经体现出了优势。

视频情感分析是视频理解任务中的一个重要的研究方向，通过对视频分析发现画面中人物的情感状态，目前已经在人机交互、面试面签、医疗诊断、机器人制造、侦查审讯等领域有重要的应用价值。Ekman和Friesen构建了离散分类模型，定义了6种基本情感，生气anger，厌恶disgust，害怕fear，开心happiness，伤心sadness和惊奇surprise，之后轻蔑contempt被加入到基本情感中。随着业务场景的不断变化，在实际业务中需要分析出视频中个体更深层次的情绪，揭开人物的表面情感，找到个体真实的情感状态，以满足新场景个性化的需求。在这种情况下，通过对视频人与人、人与物体的关系建模，有效利用图神经网络，结合CNN卷积神经网络分析视频人物的情绪特征，更加准确的判断出个体的情感状态成为亟须解决的问题。

发明内容

本发明目的是提供了一种基于图神经网络的视频情感语义分析方法，不仅能更加准确的判断目标人物的真实情感状态，而且处理效率更高，时效性强。

本发明为实现上述目的，通过以下技术方案实现：

a）构建视频中人物与人物之间、人物与物体之间的图结构关联关系，

b）通过目标检测识别出视频中的人物和物体，

c）在视频情感分析中，基于识别出的人物，通过3D-CNN三维卷积神经网络来提取视频中的情感数据，

d）利用图卷积操作，结合当前人物与人物之间关系和人物与物体之间的关联关系图结构，判断目标人物的真实情感状态。

优选的，所述步骤a的具体步骤如下：

步骤101、根据目标研究领域场景的需求，设计人物情感种类，设计人物之间的关系以及人物与物体之间的关系；

步骤102、收集本领域场景大量视频数据进行数据标注，基于通用的目标检测模型，针对标注数据集中感兴趣的人物和物体类别，训练所述的目标检测模块ObjDet，得到目标检测模型；

步骤103、对于视频数据进行人物情感类别标注，设计所述的人物情感特征提取器PFExtract和所述的情感分类器Classifier的网络结构，并将二者联合起来利用标注数据进行训练，得到PFExtract模型和Classifier模型；