[发明专利]一种基于视频时空上下文的视频人物关系分析方法

权利要求书

1.一种基于视频时空上下文的视频人物关系分析方法，其特征在于，包括以下步骤：

步骤1：对视频数据进行预处理，将视频镜头和场景进行切分，提取人物特征和聚类：

步骤1-1：在包含人脸类别的离线人脸数据集上，使用监督式方法预训练人脸CNN模型；

步骤1-2：检测视频中的镜头切换，将视频分成多个无重叠的镜头片段；对视频每帧图像使用人脸检测器检测人脸目标，在每个镜头片段中关联人脸检测响应生成可靠的轨迹片段；根据轨迹片段间的限制信息，自动生成大量的正负训练样本；

步骤1-3：正负训练样本以三元组的方式训练改进的Triplet网络，在线学习判别性人脸特征；训练过程中，改进的Triplet网络使用预训练的人脸CNN模型进行参数初始化；

步骤1-4：对每个检测响应求解目标身份；在每个镜头片段中，结合人脸目标的外观及运动信息使用基于概率图模型的多目标数据关联算法；

步骤1-5：使用层次化合并聚类算法关联不同镜头片段中的轨迹片段，形成最终的目标轨迹；

步骤2：根据步骤1预处理的结果使用基于上下文高斯加权的方法计算人物在视频镜头的共生关系；

步骤3：根据空间位置对视频人物关系的影响，融合时空上下文建立人物关系模型；

步骤4：根据人物关系模型绘制人物关系图。

2.根据权利要求1所述的一种基于视频时空上下文的视频人物关系分析方法，其特征在于，所述步骤1-1中使用的深度卷积神经网络是残差网络ResNet-50神经网络，同时使用sigmoid损失函数进行监督式训练学习人脸目标的判别特征；学习的离线人脸数据集是VGG-Face2人脸识别数据集。

3.根据权利要求2所述的一种基于视频时空上下文的视频人物关系分析方法，其特征在于，所述步骤1-2生成大量的正负训练样本的具体方法为：

步骤1-2-1：利用镜头自动分割方法检测视频中所有的镜头切换，再将待处理的视频划分成多个无重叠的镜头片段；

步骤1-2-2：利用人脸检测器，对视频每一帧图像进行人脸检测，生成人脸检测响应集X＝{x₁，...，x_R}，其中R是生成所有检测响应的数目；

步骤1-2-3：从单摄像机数据关联生成的高置信度轨迹片段T＝{T¹，...，T^M}中，挖掘视频上下文时空约束信息，并收集训练样本，其中是长度为n_i的第i^th个人脸轨迹片段，M为轨迹片段总数；

步骤1-2-4：利用两种时空限制信息：(1)属于同一类别的约束信息：同一个轨迹片段上的所有检测响应判定为属于同一个类别；(2)属于不同类别的约束信息：当两个轨迹片段在同一帧图像上同时出现时，这两个轨迹片段各自的检测响应属于不同类别；根据从待跟踪的视频中发现的时空约束信息，在线生成大量的人脸正负训练样本；

定义矩阵H∈R^M×M，如果两个轨迹片段Tⁱ和T^j在某一时刻同时出现，矩阵的元素H_i，j取值为1，否则的话H_i，j＝0；根据属于同一类别的约束信息，收集正样本集P⁺：

根据属于不同类别的约束信息，收集负样本集N^-：