[发明专利]一种基于孪生网络的目标跟踪方法

说明书

本发明公开了一种基于孪生网络的目标跟踪方法，先构建基于卷积神经网络的目标跟踪网络，然后将前后两帧图像送入网络获取特征信息，输出目标特征向量特征图，完成互相关运算，得到分类信息后通过通道熵值加权增加有效的分类信息；本发明通过基于卷积神经网络的目标跟踪网络提升分类信息的准确性，得到修正后的分类网络结果，最终得到目标准确坐标。

技术领域

本发明属于图像处理技术领域，特别涉及一种基于孪生网络的目标跟踪方法。

背景技术

目标跟踪是视觉任务重要的一个功能，广泛应用在自动驾驶、无人机无人车等无人平台态势感知、安防监控等领域。近些年随着深度学习方法的深入研究，基于卷积神经网络的目标跟踪算法在目标跟踪精度和鲁棒性上表现出了很好的效果。基于卷积神经网络的目标跟踪方法相比基于质心算法、相关滤波等方法，跟踪准确性更高，鲁棒性更好，特别适应复杂环境下目标跟踪应用。

孪生网络架构由于耗时的目标特征提取部分共享网络权重参数，并且有前后帧空间位置时序关联信息，因此被大量的研究与应用。常见的基于孪生网络的目标跟踪方法，将目标或背景的信息直接输出，其只有分类信息和位置回归信息，当网络设计不够合理，输出分类信息不可信时，会得到不准确的目标坐标信息，导致跟踪失败。

复杂环境下，基于孪生网络的目标跟踪方法中分类子网络由于网络结构设计不合理或者特征提取部分能力不强，导致输出分类信息不可信，使得目标跟踪算法预测结果错误。

发明内容

针对现有技术的以上不足，本专利申请提出一种基于熵信息加权(得分信息加权)与孪生网络的目标跟踪方法。

本发明解决其技术问题所采用的技术方案是：一种基于孪生网络的目标跟踪方法，包括如下步骤：

S1，构建基于卷积神经网络的目标跟踪网络：主要由同样权重的两个特征提取主干网络、互相关模块、具有多个通道的分类子网络、坐标位置回归网络以及包含分类信息和得分信息的得分置信度部分组成，其中特征提取主干网络主要由卷积层、批归一化层、非线性激活层和最大池化层组成，分类子网络和坐标位置回归网络主要由卷积层、批归一化层和非线性激活层构成；

S2，将第一帧输入图像作为上一帧，人为选中或通过自动检测算法选中需要跟踪的目标，送入特征提取主干网络获取特征信息，作为第二帧处理的模板；

S3，将第二帧输入图像作为当前帧，送入特征提取主干网络；

S4，将共享特征提取主干网络权重的前后两帧图像分别向互相关模块输出目标特征向量特征图，完成互相关运算：其中分别表示前后两帧图像，f(z,x)表示互相关特征图；

S5，互相关特征图f(z,x)分别送入分类子网络和坐标位置回归网络；

S6，将分类子网络输出的分类信息和得分信息，以及坐标位置回归网络输出的位置信息送入sigmod函数计算分类置信度，得到分类信息：

S5，互相关运算的结果分别送入分类子网络和坐标位置回归网络；

S6，将基于卷积神经网络的目标跟踪网络的分类分支输出，即分类子网络输出的分类信息和得分信息，以及坐标位置回归网络输出的位置信息送入sigmod函数计算分类置信度，得到分类信息，由于是目标跟踪网络，因此是二分类网络，即目标或背景信息；

S7，通过基于通道熵值加权(熵信息加权)替代简单通道叠加，增加有效的分类信息。

进一步，所述分类子网络的卷积层包含3×3卷积核，所述坐标位置回归网络的卷积层包含3×3卷积核和1×1卷积核。

更进一步，所述的步骤S7具体计算过程为：

S71，计算分类子网络每个通道目标特征向量特征图的熵：