[发明专利]一种基于交并比引导孪生网络的目标跟踪方法

权利要求书

1.一种基于交并比引导孪生网络的目标跟踪方法，其特征在于，包括以下步骤：

步骤1：分别对模板图像与搜索图像进行预处理；

步骤2：将模板图像与搜索图像分别输入到孪生网络的模板分支与搜索分支，经过AlexNet提取到模板图像的特征与搜索图像的特征，然后以模板图像特征与搜索图像特征为输入分别经过两个互相关卷积后得到的两类特征，这两类特征一类输入到分类头对目标进行分类，一类输入到回归头对目标大小进行回归；还设计了一个交并比IoU预测器，该IoU预测器平行于回归头，预测所有正样本的Anchor与目标之间的IoU分数，然后将IoU分数与分类分数共同作为选取最终的Anchor的依据；

步骤3：采用为每一个Anchor对回归损失的贡献分配一个权重，这个权重正比于Anchor与目标之间的IoU，即当某个框与目标之间的IoU越大，那么相应的权重也越大，它对回归损失的贡献也越大；

步骤4：分别计算分类标签、回归标签与IoU预测器标签，然后将网络预测到的分类分数、回归坐标与IoU分数分别与对应的标签通过损失函数计算得到损失，然后通过随机梯度下降优化算法迭代训练得到最终的网络模型；

步骤5：在线跟踪阶段将网络预测到的每个Anchor的分类得分与预测到的每个Anchor的IoU得分相乘，在回归分支选择与得分最高的Anchor相对应的框，作为最后的预测结果。

2.根据权利要求1所述的一种基于交并比引导孪生网络的目标跟踪方法，其特征在于，所述步骤1对模板图像与搜索图像进行预处理具体包括以下步骤：

1.1模板图像处理：在一个图像中，目标区域以目标区域以矩形框标定，矩形框的中心点代表目标中心点位置，在目标矩形框四边分别扩充p个像素，若矩形框超出图像边界，超出部分用图像像素均值填充，最后将裁剪的目标图像块尺寸缩放至127×127像素大小；

1.2搜索图像处理：在一个图像中，目标区域以目标区域以矩形框标定，矩形框的中心点代表目标中心点位置，在目标矩形框四边分别扩充p个像素，若矩形框超出图像边界，超出部分用图像像素均值填充，最后将裁剪的目标图像块尺寸缩放至255×255像素大小。

3.根据权利要求1或2所述的一种基于交并比引导孪生网络的目标跟踪方法，其特征在于，所述步骤2具体包括以下步骤：

2.1特征提取以5层结构的AlexNet为基础框架，其改动为：1)去掉整个AlexNet的padding和全连接层；2)网络的第一层、第二层内的LRN层用BatchNorm批归一化层替换；3)第三层与第四层中添加BatchNorm批归一化层；4)第五层中去掉ReLu修正线性单元层与MaxPooling最大池化层，并添加BatchNorm批归一化层；

2.2将预处理好的模板图像与搜索图像输入到该AlexNet网络分别得到模板图像特征与搜索图像特征；

2.3将模板图像特征经过一个3×3卷积运算得到的特征与搜索图像特征经过3×3卷积运算得到的特征进行一个深度互相关卷积，深度互相关卷积后的特征经过两个1×1的卷积后得到的结果用于最后的目标分类；

2.4将模板图像特征经过一个3×3卷积运算得到的特征与搜索图像特征经过3×3卷积运算得到的特征进行一个深度互相关卷积，深度互相关卷积后的特征分别经过两个1×1的卷积得到两类特征，一类用于IoU预测，另一类用于目标坐标预测。

4.根据权利要求3所述的一种基于交并比引导孪生网络的目标跟踪方法，其特征在于，所述步骤3采用为每一个Anchor对回归损失的贡献分配一个权重具体包括以下步骤：

3.1根据IoU预测器得到的每一个Anchor与跟踪目标之间的IoU，作为回归分支中每一个Anchor对于回归损失权重的依据； 考虑到整个回归损失不变，所有Anchor的权重被归一化到1；

3.2将得到的权重作用到每一个Anchor中，具体体现在权重w为每一个Anchor 对回归损失的贡献进行重新加权。