[发明专利]基于图卷积网络的视频人物社交关系图生成方法

说明书

本发明公开了一种基于图卷积网络的视频人物社交关系图生成方法，结合视觉信息、文本信息以及音频信息，能够准确的从视频中生成出人物角色之间的社交关系图。并且，在电影数据集上进行了人物社交关系图的验证，结果表明本方案在客观评价指标上取得了突出的效果。

技术领域

本发明涉及计算机视觉和自然语言处理领域，尤其涉及一种基于图卷积网络的视频人物社交关系图生成方法。

背景技术

视频中人物的社交关系是视频理解的重要基础之一，它既可以帮助观众更好地理解视频内涵，也将支撑许多视频相关的应用，如视频标注、视频检索和视觉问答等。传统的方法主要分析可由视觉内容直接体现的空间或动作关系等，很少涉及到更高层的语义信息，如视频中人物社交关系图的生成。

与此同时，现有的视频分析工作主要针对人工剪裁的富含语义的图片或短视频，但是在现实场景的长视频中，往往却包含着大量与人物关系无关的信息，不仅场景和人物频繁切换，社交关系的呈现方式也更为复杂。

更为重要的是，人物关系事实上并不是相互独立的，而是彼此关联并形成完整的社交关系网络的，而网络中的关系往往通过“三元闭包”关系而存在着相互佐证、相互强化的作用，但现有技术并没有充分利用这一信息。因此，现有技术往往难以取得令人满意的效果。

发明内容

本发明的目的是提供一种基于图卷积网络的视频人物社交关系图生成方法，可以精确地从视频中生成人物角色之间的社交关系图。

本发明的目的是通过以下技术方案实现的：

一种基于图卷积网络的视频人物社交关系图生成方法，包括：

将输入的完整视频进行采样与分割，得到若干等长的子视频帧序列，并对每一子视频帧序列各自进行人物角色的检测及重识别，再将检测结果与重识别输入至人物社交关系图生成模型；

所述人物社交关系图生成模型，采用帧级别的图卷积网络对每一子视频帧序列中的每一帧图像中人物角色特征、人物对特征与相应本文特征进行信息传播，得到增强的人物角色特征与人物对特征，并通过时序积累，得到每一子视频帧序列中所有帧累积的人物角色特征与人物对特征，再采用片段级别的图卷积网络进行信息传播，得到片段级别的增强表征后的人物对特征；

训练阶段，利用片段级别的增强表征后的人物对特征对所述人物社交关系图生成模型进行训练；

推理阶段，对于每一子视频帧序列，利用片段级别的增强表征后的人物对特征、以及提取的子视频帧序列的视频特征、音频特征与文本特征生成片段级别的人物社交关系图，通过迭代得到整个视频的人物社交关系图；其中，每次迭代合并两个人物社交关系图，如果两个人物社交关系图中两个人物角色特征的相似度大于阈值，则认为属于同一个人物角色。

由上述本发明提供的技术方案可以看出，结合视觉信息、文本信息以及音频信息，能够准确的从视频中生成出人物角色之间的社交关系图。并且，在电影数据集上进行了人物社交关系图的验证，结果表明本方案在客观评价指标上取得了突出的效果。

附图说明

为了更清楚地说明本发明实施例的技术方案，下面将对实施例描述中所需要使用的附图作简单地介绍，显而易见地，下面描述中的附图仅仅是本发明的一些实施例，对于本领域的普通技术人员来讲，在不付出创造性劳动的前提下，还可以根据这些附图获得其他附图。

图1为本发明实施例提供的一种基于图卷积网络的视频人物社交关系图生成方法的框架图。

具体实施方式

下面结合本发明实施例中的附图，对本发明实施例中的技术方案进行清楚、完整地描述，显然，所描述的实施例仅仅是本发明一部分实施例，而不是全部的实施例。基于本发明的实施例，本领域普通技术人员在没有做出创造性劳动前提下所获得的所有其他实施例，都属于本发明的保护范围。