[发明专利]基于图卷积网络的视频人物社交关系图生成方法

权利要求书

1.一种基于图卷积网络的视频人物社交关系图生成方法，其特征在于，包括：

将输入的完整视频进行采样与分割，得到若干等长的子视频帧序列，并对每一子视频帧序列各自进行人物角色的检测及重识别，再将检测结果与重识别输入至人物社交关系图生成模型；

所述人物社交关系图生成模型，采用帧级别的图卷积网络对每一子视频帧序列中的每一帧图像中人物角色特征、人物对特征与相应本文特征进行信息传播，得到增强的人物角色特征与人物对特征，并通过时序积累，得到每一子视频帧序列中所有帧累积的人物角色特征与人物对特征，再采用片段级别的图卷积网络进行信息传播，得到片段级别的增强表征后的人物对特征；

训练阶段，利用片段级别的增强表征后的人物对特征对所述人物社交关系图生成模型进行训练；

推理阶段，对于每一子视频帧序列，利用片段级别的增强表征后的人物对特征、以及提取的子视频帧序列的视频特征、音频特征与文本特征生成片段级别的人物社交关系图，通过迭代得到整个视频的人物社交关系图；其中，每次迭代合并两个人物社交关系图，如果两个人物社交关系图中两个人物角色特征的相似度大于阈值，则认为属于同一个人物角色；

其中，所述人物社交关系图生成模型包括：帧级别的图卷积网络模块、多通道时序累积模块以及片段级别的图卷积网络模块；其中：

对每一子视频帧序列中的每一帧图像，根据人物角色的检测及重识别结果采用预训练的残差网络提取人物角色特征和人物对特征，采用预训练的残差网络从帧图像中提取全局背景特征，采用深度自注意力变换网络从帧图像对应时刻的台词中提取文本特征；

所述帧级别的图卷积网络模块，将帧图像作为一个子图，提取到的四类特征作为相应子图的四种节点；采用图卷积神经网络进行节点信息的传播，从而得到每一帧图像中人物角色和人物对的增强表征；之后，每一帧图像中人物角色和人物对的增强表征分别输入至多通道时序累积模块，得到所有帧图像累积的人物角色特征与人物对特征；最终，输入至片段级别的图卷积网络模块，得到片段级别的增强表征后的人物对特征。

2.根据权利要求1所述的一种基于图卷积网络的视频人物社交关系图生成方法，其特征在于，所述将输入的完整视频进行采样与分割，得到若干等长的子视频帧序列包括：

对于输入的完整视频，首先，进行等间距采样，得到一个由视频帧组成的视频序列；

通过滑动窗口方法，将视频序列切分成若干等长的子视频帧序列。

3.根据权利要求1所述的一种基于图卷积网络的视频人物社交关系图生成方法，其特征在于，

利用预训练的人物检测器来检测出人物框和对应的置信度，如果检测出来的框置信度高于阈值，则认为该框含有人物角色；

之后，利用基于残差网络的特征提取网络对人物角色框进行特征抽取，再对人物框特征之间进行余弦相似度的计算，相似度大于阈值的两个人物框视作同一个人物角色。

4.根据权利要求1所述的一种基于图卷积网络的视频人物社交关系图生成方法，其特征在于，帧级别的图卷积网络中单层的图卷积层的操作表示为：

其中，是第l-1层的输出，N表示子图数目，d表示特征节点的维度；是当前子图的邻接矩阵，是邻接矩阵的度矩阵，是可学习的参数，σ(·)是非线性激活函数；

子图的邻接矩阵定义为：

其中，N₁与N₂表示不同种类的节点，i、j表示不同人物角色，F_c、F_p、F_b、F_t依次表示每一帧图像中人物角色特征、人物对特征、全局背景特征、文本特征；

最终，每一帧图像中人物角色和人物对的增强表征表示为：

F_c′,F_p′＝GCN(F_c,F_p,F_b,F_t,A)

其中，GCN(.)表示图卷积神经网络。