[发明专利]一种基于内部裁剪和多层特征信息融合的目标跟踪方法

权利要求书

1.一种基于内部裁剪和多层特征信息融合的目标跟踪方法，其特征在于，包括以下步骤：

步骤1、获取视频序列数据集，根据所述视频序列数据集构成训练集；

步骤2、构建孪生网络，所述孪生网络的基础骨干采用经内部裁剪单元改进后的ResNet18特征提取网络和RPN网络的组合；

所述孪生网络包括模板分支和搜索分支；

所述模板分支、所述搜索分支均包括conv1、conv2、conv3三个阶段，两个所述conv2分别与第一RPN模块连接，两个所述conv3分别与第二RPN模块连接；

所述模板分支的conv1用于特征图的下采样，conv2用于浅层空间特征的提取，conv3用于深层语义特征的提取；

所述搜索分支的conv1用于特征图的下采样，conv2用于浅层空间特征的提取，conv3用于深层语义特征的提取；

所述第一RPN模块用于利用浅层空间特征进行候选框的分类与位置回归，所述第二RPN模块用于利用深层语义特征进行候选框的分类与位置回归；

池化层用于特征图下采样，分类分支用于判断候选框是目标还是背景，回归分支用于获取候选框的坐标和尺寸信息；

步骤3、基于所述训练集，训练所述孪生网络，获得训练收敛的孪生网络模型；

步骤4、利用所述孪生网络模型进行在线跟踪。

2.根据权利要求1所述的基于内部裁剪和多层特征信息融合的目标跟踪方法，其特征在于，所述步骤1包括：

步骤1.1、根据视频序列数据集的标注信息，获得目标中心位置和尺寸信息；

步骤1.2、根据所述目标中心位置和尺寸信息，通过裁剪、缩放处理获得所述视频序列数据集中所有视频序列图像的模板图像和搜索图像，所述模板图像和搜索图像组成的成对图像构成所述训练集。

3.根据权利要求2所述的基于内部裁剪和多层特征信息融合的目标跟踪方法，其特征在于，所述步骤1.2中包括：

以目标中心位置为中心，以第一边长截取正方形区域；其中，p为扩充的上下文区域大小，p＝(w+h)/2，w为目标矩形的宽，h为目标矩形的长；

对于所述模板图像，将所述正方形区域的边长放缩s₁倍，将所述模板图像的边长调整为127；

对于所述搜索图像，对边长为所述第一边长sz的正方形区域的周围再次进行扩充，扩充后得到第二边长sx＝sz+2*pad，对所述第二边长放缩s₂倍，将所述搜索图像的边长调整为255；其中，pad为搜索图像扩充的上下文区域大小，pad＝(255-127)/2s₁。

4.根据权利要求3所述的基于内部裁剪和多层特征信息融合的目标跟踪方法，其特征在于，如果所述模板图像或所述搜索图像的扩充区域超过图像边界，则以图像的RGB三通道的平均值进行补齐。

5.根据权利要求1所述的基于内部裁剪和多层特征信息融合的目标跟踪方法，其特征在于，所述步骤4包括：

步骤4.1、根据待测视频序列的第一帧构建模板图像，用于确定待跟踪目标和附近上下文信息；

步骤4.2、将第一帧构建的模板图像送入训练收敛的孪生网络的模板分支，提取模板图像的特征，获得模板图像的特征图；

步骤4.3、根据待测视频序列后续的每一帧分别构建搜索图像，用于构造目标的搜索范围；

步骤4.4、将后续每一帧构建的搜索图像分别送入训练收敛的孪生网络的搜索分支，提取搜索图像的特征，获得搜索图像的特征图；

步骤4.5、将所述模板图像的特征图作为卷积核，对所述搜索图像的特征图进行卷积操作，计算区域相似性，得到目标的位置与尺度。

6.根据权利要求5所述的基于内部裁剪和多层特征信息融合的目标跟踪方法，其特征在于，所述步骤4.5中，使用尺度惩罚抑制目标尺度过大的变化，使用余弦窗抑制目标位移过大的变化，使用非极大抑制进行去重，最后选取分值最高的anchor作为目标在下一帧的位置。