[发明专利]一种基于弱监督学习的视频目标检测方法

权利要求书

1.一种基于弱监督学习的视频目标检测方法，其特征在于：包括以下步骤：

S01)、输入视频片段至基准模型，基准模型针对输入进行视频目标检测，输出关键帧中的视频目标位置与类别；

S02)、基于基准模型的输出计算损失函数，在损失函数驱动下对基准模型分两步进行训练，首先基于有目标位置的带标签样本进行预监督训练，生成预训练模型，其次基于预训练模型和无目标位置标签样本对基准模型进行弱监督训练，从而实现对基准模型的优化；

基准模型包括四个网络分支，网络分支一和网络分支二采用复杂度不同的3D-CNN网络，分别关注目标通道特征和空间特征，网络分支三对通道和空间特征进行融合，网络分支四用于计算视频序列的目标位置损失；

步骤S02的预监督训练和弱监督训练采用一系列子损失函数组合，包括：

A、分类交叉熵损失函数，

为了加速计算，基于对原始图像网格化分割的基本思想，将输入样本按S×S网格等比例划分，则相应的分类交叉熵损失函数为：

其中i为输入样本划分网格的标号，s²为网格数目，输入样本上锁定目标中心所需要的候选框模板数目为B，j为候选框模板的标号，代表网格标号为i、候选框模板标号为j时，是否存在类别为cls的目标，存在时，否则为0；和P_i^j分别代表预测概率及实际标签；

B、位置损失函数，

首先，定义单帧图像内目标位置损失如下：

其中，代表网格标号为i、候选框模板标号为j时，是否存在类别为cls的目标，存在时，否则为0，B为锁定目标中心所需要的候选框模板数目，s²为网格数目；分别代表样本中标注的横向中心坐标、纵向中心坐标、目标宽度、目标高度及目标可信度，代表相应的预测值；λ_co为人工指定的加权系数，即为超参数；

由于输入样本是视频序列片段，它由连续视频帧构成，所以序列位置损失定位为：

其中N为样本序列的长度，Loss_loc(n；)代表视频序列中第n帧图像的位置损失；

C、伪位置损失函数，

伪位置损失关注两个网络分支关键帧之间的目标位置损失，定位为：

其中，是由网络分支四生成的位置标签，它作为位置损失计算的基准，是由网络分支三生成的位置标签；

D、跟踪损失函数；

使用目标跟踪函数计算临近帧的目标位置，与网络预测位置进行比较，形成目标追踪损失，定义为：

其中为输入序列clip的第n帧目标预测位置，为输入序列clip的第n-1帧目标预测位置，通过追踪器Tracker后，计算与之间的位置正则化损失；

E、特征连续性损失函数；

其中，X_g代表第g组视频序列，其中有N帧图像，d_g,n,l代表g组中第n帧与第l帧预测目标的余弦相似度，f(·)代表图像中候选目标特征，对于批处理组中的第g-th视频系列X_g，其内部相邻两帧中的候选目标特征距离用余弦距离表示，那么D_NCB代表邻域特征距离矩阵，直观上讲，x_g,n与x_g,n+1的特征距离越近越好，所以，D_NCB中各特征距离的贡献是不同，其贡献值定义如下：

批处理组内特征连续性损失定义为：

其中ε为超参数，取值范围为0至1之间，ε用于调整的概率密度，当d_c值分布较为集中时拉伸其分布空间。

2.根据权利要求1所述的基于弱监督学习的视频目标检测方法，其特征在于：预监督训练阶段，外部损失函数GL及内部损失函数IL定义为：

其中，predict_key输入序列关键帧中的目标预测位置，truth_key为标签判断基准；在弱监督训练阶段，外部损失函数GL及内部损失函数IL定义为：

其中视频序列clip的长度为N，γ为跟踪损失影响系数，其调节区间为[1，N-1]。