[发明专利]一种基于孪生网络的目标跟踪方法

权利要求书

1.一种基于孪生网络的目标跟踪方法，其特征在于：包括如下步骤

S1，构建基于卷积神经网络的目标跟踪网络：由同样权重的两个特征提取主干网络(1)、互相关模块(2)、具有多个通道的分类子网络(3)、坐标位置回归网络(4)以及包含分类信息和得分信息的得分置信度部分组成，其中特征提取主干网络(1)由卷积层、批归一化层、非线性激活层和最大池化层组成，分类子网络(3)和坐标位置回归网络(4)均由卷积层、批归一化层和非线性激活层构成；

S2，将第一帧输入图像作为上一帧，选中需要跟踪的目标，送入特征提取主干网络(1)获取特征信息，作为第二帧处理的模板；

S3，将第二帧输入图像作为当前帧，送入特征提取主干网络(1)；

S4，将共享特征提取主干网络(1)权重的两帧图像分别向互相关模块(2)输出目标特征向量特征图，完成互相关运算：其中分别表示前后两帧图像，f(z,x)表示互相关特征图；

S5，互相关特征图f(z,x)分别送入分类子网络(3)和坐标位置回归网络(4)；

S6，将分类子网络(3)输出的分类信息和得分信息，以及坐标位置回归网络(4)输出的位置信息送入sigmod函数计算分类置信度，得到分类信息：

S7，通过通道熵值加权增加有效的分类信息。

2.根据权利要求1所述的一种基于孪生网络的目标跟踪方法，其特征在于，所述的步骤S7具体为：

S71，计算分类子网络(3)每个通道目标特征向量特征图的熵：

其中max和min表示特征图中数值的最大值与最小值，p_i,j表示某个值在该特征图中出现的概率；

将熵值作为通道的加权权重，对每个通道特征图进行加权，再进行多个通道特征图上每个像素点的累加，合并为一个通道作为得分信息；

S72，将得分信息输出作为分类信息的惩罚项，特征图上每个像素点相乘，最终输出一个范围0～1的概率值作为可靠的分类结果；

S73，坐标位置回归网络(4)输出目标特征向量特征图中每个元素，表示为与上一帧特征图上每个像素点的横坐标、纵坐标偏移量。

3.根据权利要求2所述的一种基于孪生网络的目标跟踪方法，其特征在于，所述的步骤S72得到的分类结果中，求得数值最大的一项对应的特征图坐标位置(i,j)，从步骤S73中坐标位置回归网络(4)输出的目标特征向量找到(i,j)处的结果，作为当前帧预测的目标坐标偏移量，与上一帧目标坐标信息相加，得到当前帧目标预测的坐标绝对值。

4.根据权利要求1或2或3所述的一种基于孪生网络的目标跟踪方法，其特征在于，所述分类子网络(3)的卷积层包含3×3卷积核，所述坐标位置回归网络(4)的卷积层包含3×3卷积核和1×1卷积核。