[发明专利]基于弱监督学习的视频时序行为检测方法

权利要求书

1.一种基于弱监督学习的视频时序行为检测方法，其特征在于包括：

步骤A、通过双流膨胀卷积网络对未剪辑视频进行时空特征提取，将提取的特征输入到边界回归层，首先堆叠三个相同的时间卷积块，随着时间的卷积滤波，每个时间卷积块有2048个卷积核，一个BN层和RELU层，最后，再添加一个时间卷积块去输出边界回归值进行片段级行为边界的精细切分；

步骤B、将切分片段特征作为图卷积网络的节点进行关系推理，设计类别片段融合的内外对比损失，监督视频特征的中间表示，增大前景与背景、不同类别之间的特征距离，阈值融合得到“行为提案”；

步骤C、通过多实例学习分类器得到集合类别置信度，将其类别置信度均值作为性能评价指标。

2.根据权利要求1所述的基于弱监督学习的视频时序行为检测方法，其特征在于：所述步骤B中进行关系推理时，将片段特征输入到图卷积网络进行视频片段特征的关系学习，将获得片段特征输出为W是权重矩阵，是G通过softmax归一化后的亲和矩阵，X^c代表视频划分片段的集合，G是将X^c中的每个片段特征根据相似性进行的加权组合，为了计算G，设计δ函数将片段间的外观和运动特征的相似性与不相似性结合到权重的学习过程中，图卷积网络的节点从其邻域内聚合信息，生成自身独特特征，使得δ更相似的节点间具有更高的权重，δ(x)＝wx+b，δ(x)代表的是特征学习函数，w，b表示的是学习权重和偏置项，x代表的是X^c中的片段特征。

3.根据权利要求2所述的基于弱监督学习的视频时序行为检测方法，其特征在于：所述步骤B中，将图卷积网络中输出的时间上连续的片段特征进行级联与全局节点进行相似度量，通过设定阈值来判断是否具有行为信息丢失，若小于阈值则说明视频划分的片段过大或过小导致行为信息丢失的太多，反馈回去进行重新切分训练学习，反之，通过分类器输出结果。

4.根据权利要求1所述的基于弱监督学习的视频时序行为检测方法，其特征在于：所述步骤B中，类别片段融合的内外对比损失监督特征表示如下：

其中，T是每个视频中片段的总数量，t是视频片段索引，F_t^c代表t时间段的时空特征，是类别i在时间段t时的置信度，j、k是两个视频片段，f_i^j为前景特征，为背景特征，代表的是余弦距离，0.5代表的是片段间的相似偏移量。

5.根据权利要求1所述的基于弱监督学习的视频时序行为检测方法，其特征在于：所述步骤B中，通过公式CAS＝MLP(X^c,θ_cas)进行阈值融合，CAS为类激活序列，表示集合类别的置信度，MLP代表的是以多层感知的原理将视频片段特征映射到动作类别空间，随着时间的推移得到行为的分类得分，θ_cas表示动作类别序列的可训练参数，X^c代表的是视频片段特征的集合。

6.根据权利要求2所述的基于弱监督学习的视频时序行为检测方法，其特征在于：

对亲和矩阵G添加L_GS损失来保证G的边缘稀疏性：T是视频片段总数，i,j是视频内片段索引，G_i,j表示的是视频中的片段i与片段j之间的相似关系。

7.根据权利要求2所述的基于弱监督学习的视频时序行为检测方法，其特征在于：所述相似度量采用的是余弦相似度，定义如下：

X_i，X_j代表视频内索引为i,j片段的特征。