[发明专利]一种基于通道特征加权卷积神经网络的生成式目标跟踪方法

权利要求书

1.一种基于通道特征加权卷积神经网络的生成式目标跟踪方法，其特征在于，包括如下步骤：

(1)修改VGG-M网络模型并加入通道特征加权卷积层，卷积部分的网络作为序列共享的特征提取子网络，剩下部分作为序列特定的特征分类子网络，从而构造基于通道特征的加权卷积神经网络模型；

(2)收集已经带有目标状态信息标注的视频序列，对每个序列根据目标状态信息采集前景类和背景类样本，以构成训练样本集；

(3)将训练样本集按照序列对应的方式组成批次，逐个序列的对基于通道特征的加权卷积神经网络模型进行循环迭代训练，直到设定的循环次数或者预设置的精度阈值；

(4)对新的视频跟踪序列重新构造序列特定的特征分类子网络，将其与共享的特征提取子网络连接构成新视频序列的基于通道特征的加权卷积神经网络模型；

(5)根据新的视频序列中首帧中给出的目标状态信息进行初始的分类样本采集，利用采集获得的样本对新的序列特定的特征分类子网络进行训练，使用共享的特征提取子网络提取初始目标的深度特征并将其作为初始的目标特征模板；

(6)将初始的历史目标特征模板设置为空，并将当前帧的上一帧的目标特征模板设置为初始的目标特征模板；

(7)根据最新的目标状态信息生成目标候选区域，利用新视频序列的基于通道特征的加权卷积神经网络模型对候选区域提取特征并分类；

(8)计算分类结果中属于前景类概率较高的候选区域的特征与三种目标特征模板的加权相似度，所述三种目标特征模板分别是指初始帧中目标外观的深度特征模板、当前帧的上一帧中目标外观的深度特征模板以及跟踪过程中目标外观显著变化的历史帧中目标外观的深度特征模板；

(9)将加权相似度最高的候选块作为新的目标跟踪结果，并将新目标块的特征作为上一帧的目标特征模板，根据所有候选块的分类情况确定是否采集新的样本以及是否利用新的样本更新基于通道特征的加权卷积神经网络模型和历史目标特征模板；

(10)判断跟踪是否结束，如果没有结束则循环执行步骤(7)至(10)。

2.如权利要求1所述的一种基于通道特征加权卷积神经网络的生成式目标跟踪方法，其特征在于，步骤(2)中，将公开的已打标的视频跟踪数据集VOT-2013、VOT-2014和VOT-2015中的重复的视频序列去掉，对于选出来的每个视频序列，随机选择其中的部分帧图像，

在每个被选中的帧上，根据标注的目标状态信息，利用目标中心点的位置坐标和尺度大小的高斯函数生成大量的样本区域，截取以上样本区域的图像并进行归一化处理，按照以上样本区域与目标区域重叠率的关系样本分为前景类样本和背景类样本，从而构成样本训练集。

3.如权利要求2所述的一种基于通道特征加权卷积神经网络的生成式目标跟踪方法，其特征在于，步骤(3)中，

基于通道特征的加权卷积神经网络模型的训练采用序列循环的方式迭代训练，具体的是指，每一次循环中对共享的特征提取子网络和序列特定的特征分类子网络逐一使用序列特定的特征分类子网络对应的序列批次样本。

4.如权利要求3所述的一种基于通道特征加权卷积神经网络的生成式目标跟踪方法，其特征在于，步骤(9)中，

如果能够在候选区域中发现不存在属于前景类概率较高的块，则跟踪的结果可信度较差，说明目标的外观特征发生了较大的变化，此时利用跟踪过程中收集的样本进行基于通道特征的加权卷积神经网络模型的更新，并将新目标区域的特征保存到历史目标特征模板中；

反之，则表明跟踪结果的可信度较高，在当前帧采样前景类和背景类样本，以待用于基于通道特征的加权卷积神经网络模型的更新。