[发明专利]一种基于视频时空上下文的视频人物关系分析方法

说明书

本发明公开了一种基于视频时空上下文的视频人物关系分析方法，通过时序和空间信息分析来挖掘视频中的人物关系网络，来从新的角度和深度分析视频内容。该方法首先对视频数据进行预处理，包括进行视频镜头和场景的切分、人物特征提取和聚类。其次，根据预处理的结果使用基于上下文高斯加权的方法来计算人物的某个视频镜头的共生关系。最后，融合空间位置对视频人物关系的贡献信息，判断和计算更具体和准确的共生关系，修正时序共生关系方法的量化结果，提高视频人物关系分析的准确率。本发明可有效提高视频用户对感兴趣目标查询的效率，降低人物查询的工作量，提高人物关系挖掘的准确性。

技术领域

本发明属于数据挖掘技术领域，具体涉及一种视频人物关系分析方法。

背景技术

在影视等视频的众多物体中，视频中的人物是视频的重要组成部分，尤其是对于电影和电视等故事性视频来说，人物是视频的主要实体，剧情都是通过人物推进展开的。在视频语义分析中，围绕视频人物进行研究，通过追踪影视频中主要人物角色或感兴趣人物，挖掘人物关系，获取人物关系网络。

近年来，人物社交关系网络的构建受到了广泛地研究。2001年M.Newman等基于物理学、生物医学研究和计算机科学中的科学论文数据库，利用论文合作关系，构建了科学家之间的合作网络，并基于该网络研究了各种统计特性，包括作者撰写的论文数量、每篇论文的作者数量、科学家拥有的合作者数量、网络的聚类程度、网络中心性和连通性的度量等。

人物社交关系的挖掘有助于更好地理解人与人之间的关系，以往的一些研究己经可以从文本和图像中识别出人物间的社交关系。2014年，B.Jeremiah等通过使用共现信息来表征人物关系，这些关系为社交网络构建提供了基础。2015年，Z.Zhangpeng等在心理学研究的驱动下，借助人脸图像提出了一个社交关系预测深度模型，该模型学习丰富的人脸表征来捕捉性别、表情、头部姿势和年龄相关的属性，然后进行关系预测的推理，通过大量实验，得到最终模型准确率达到72.6％，表明该方法对图像和视频中的这种细粒度的社交关系学习是有效的。2017年，S.Qianru等认为社交心理学中基于域的理论可以系统地解决社交关系挖掘的问题，因此利用基于域的理论和图像的语义信息建立深度学习模型，从而预测图像中人物间的社会领域和社交关系，该方法的准确率达到了67.8％。2017年，L.Junnan等通过引入注意力机制，提出了一种用于视频社交关系识别的双眼模型，该模型第一眼首先关注各个感兴趣的个体，第二眼利用注意力机制去探索各种特定的线索，从而从更高层次的社交场景理解实现社交关系识别，最终该模型在三类关系和六类关系的mAP值分别为79.7％，63.2％。2018年，一种多流融合模型由J.Lv等提出，以提取视频中人物之间的社交关系，该模型通过采用多流融合模型和利用视频中丰富的多模态信息来解决社交关系识别的挑战。但是现有技术中基于视频构建人物关系网络研究中存在的人物关系冗余或者遗漏问题。

发明内容

为了克服现有技术的不足，本发明提供了一种基于视频时空上下文的视频人物关系分析方法，通过时序和空间信息分析来挖掘视频中的人物关系网络，来从新的角度和深度分析视频内容。该方法首先对视频数据进行预处理，包括进行视频镜头和场景的切分、人物特征提取和聚类。其次，根据预处理的结果使用基于上下文高斯加权的方法来计算人物的某个视频镜头的共生关系。最后，融合空间位置对视频人物关系的贡献信息，判断和计算更具体和准确的共生关系，修正时序共生关系方法的量化结果，提高视频人物关系分析的准确率。本发明可有效提高视频用户对感兴趣目标查询的效率，降低人物查询的工作量，提高人物关系挖掘的准确性。

本发明解决其技术问题所采用的技术方案包括如下步骤：

步骤1：对视频数据进行预处理，将视频镜头和场景进行切分，提取人物特征和聚类：

步骤1-1：在包含人脸类别的离线人脸数据集上，使用监督式方法预训练人脸CNN模型；