[发明专利]一种基于图神经网络的视频情感语义分析方法

权利要求书

1.一种基于图神经网络的视频情感语义分析方法，其特征在于，包括以下步骤：

a）构建视频中人物与人物之间、人物与物体之间的图结构关联关系，

b）通过目标检测识别出视频中的人物和物体，

c）在视频情感分析中，基于识别出的人物，通过3D-CNN三维卷积神经网络来提取视频中的情感数据，

d）利用图卷积操作，结合当前人物与人物之间关系和人物与物体之间的关联关系图结构，判断目标人物的真实情感状态。

2.根据权利要求1的所述的基于图神经网络的视频情感语义分析方法，其特征在于，所述步骤a的具体步骤如下：

步骤101、根据目标研究领域场景的需求，设计人物情感种类，设计人物之间的关系以及人物与物体之间的关系；

步骤102、收集本领域场景大量视频数据进行数据标注，基于通用的目标检测模型，针对标注数据集中感兴趣的人物和物体类别，训练所述的目标检测模块ObjDet，得到目标检测模型；

步骤103、对于视频数据进行人物情感类别标注，设计所述的人物情感特征提取器PFExtract和所述的情感分类器Classifier的网络结构，并将二者联合起来利用标注数据进行训练，得到PFExtract模型和Classifier模型；

所述的人物情感特征提取器PFExtract采用3D-CNN作为核心网络，用于提取视频中人物的情感特征，形成特征向量；

所述的情感分类器Classifier的核心是线性分类器，利用所述的人物情感特征提取器PFExtract形成的特征，判断情感状态分类。

3.根据权利要求2的所述的基于图神经网络的视频情感语义分析方法，其特征在于，所述步骤b的具体步骤如下：

步骤201、根据设定人物关系，基于视频目标检测识别得到的人物，形成人物关系图结构数据集，训练所述的人物关系生成器PRGen，得到人物关系图结构生成模型；

所述的人物关系图结构是指视频中涉及的相关人物的图关系结构（V，E），其中V表示人物，E表示人物与人物之间的关系，人物特征采用d维向量格式表示；

所述的人物关系生成器PRGen负责将识别出的人物形成人物基础关系图结构，用于描述主要目标人物之间的关系；

步骤202、根据设定人物和物体关系，基于视频目标检测识别得到的人物和物体，形成人物与物体关系图结构数据集，训练所述的人物与物体关系生成器PAORGen，得到人物与物体关系图结构生成模型；

所述的人物与物体关系生成器PAORGen负责将识别出的人物与物体形成人物与物体基础关系图结构，用于描述主要目标人物与感兴趣的物体之间的关系。

4.根据权利要求3的所述的基于图神经网络的视频情感语义分析方法，其特征在于，所述步骤c的具体步骤如下：

步骤301、基于人物情感特征提取器PFExtract提取的人物情感特征向量、人物关系图结构和人物与物体关系图结构，联合所述的图卷积情感生成器GCNGen和所述的情感判别器MDTR进行训练，得到图卷积情感生成器模型和情感判别器模型；

步骤302、基于所述的图卷积情感生成器GCNGen产生的情感特征向量，结合现有人物关系图结构，所述的人物关系调整器PRTuning，使得人物关系图结构调整符合图卷积情感生成器产生的情感特征；

所述的人物关系调整器PRTuning根据当前视频段识别出的人物关系，结合前面场景输出的图卷积情感特征向量，对现有的人物关系图结构进行调整更新；

步骤303、基于所述的图卷积情感生成器GCNGen产生的情感特征向量，结合现有人物与物体关系图结构，所述的人物与物体关系调整器PAORTuning，使得人物与物体关系图结构调整符合图卷积情感生成器产生的情感特征；

所述的人物与物体关系调整器PAORTuning根据当前视频段识别出的人物与物体的关系，结合前面场景输出的图卷积情感特征向量，对现有的人物与物体关系图结构进行调整更新；

步骤304、将步骤101至步骤108训练形成的模型进行组合，用于视频情感语义分析判断。

5.根据权利要求4的所述的基于图神经网络的视频情感语义分析方法，其特征在于，所述步骤d的具体步骤如下：

步骤401、将视频进行分段，利用所述的目标检测ObjDet模块提取其中的人物和物体，基于识别结果形成人物集合和物体集合，经过所述的人物关系生成器PRGen和所述的人物与物体关系生成器PAORGen，形成人物基础关系图结构和人物与物体基础关系图结构；

步骤402、针对步骤110形成的两个关系图结构进行裁剪，根据已知知识进行微调，选择关注的人物和物体，作为视频情感语义分析的初始关系图结构；

步骤403、利用所述的目标检测ObjDet模块，重新对视频进行目标检测，按照设定的时间间隔，获取本段视频的人物和物体，并通过所述的人物情感特征提取器PFExtract获取视频片段中出现人物的情感特征向量feV；

步骤404、将人物情感特征提取器PFExtract提取的人物情感特征向量feV集合、人物关系图结构和人物与物体关系图结构输入到所述的图卷积情感生成器GCNGen中，得到经过图卷积的情感特征向量emV；

步骤405、将经过图卷积的情感特征向量输入到所述的情感判别器MDTR中，输出人物在当前视频片段的情感状态；

步骤406、获取下一段视频，识别本段视频的人物和物体，基于上一段视频的所述的图卷积情感生成器GCNGen输出的图卷积的情感特征向量emV，将本段视频的人物和物体、情感特征向量emV和人物关系图结构输入到所述的人物关系调整器PRTuning，更新人物关系图结构，将本段视频的人物和物体、情感特征向量emV和人物与物体关系图结构输入到所述的人物关系调整器PAORTuning，更新人物与物体关系图结构；

步骤407、通过所述的人物情感特征提取器PFExtract获取视频片段中出现人物的情感特征向量feV，转到步骤113；

步骤408、重复步骤110至步骤116，持续输出视频人物情感状态；

步骤409、持续收集在判定视频情感过程中的数据，同时对输出结果正确性进行反馈，用于模型的持续优化。