[发明专利]一种孪生网络视频目标跟踪方法及装置

说明书

本发明属于视频分析技术领域，公开了一种基于分层注意力机制的孪生网络视频目标跟踪方法。本发明基于孪生网络框架，将高层次特征与低层次特征融合起来，并且在提取特征的过程中，使用了注意力机制对特征图进行重标定，使用AdaBoost算法对目标特征图进行加权融合。本发明还使用了Inception模块，一方面增加了网络的宽度以及孪生网络对尺度的适应性，另一方面还减少了参数，提高了网络训练的速度。在进行目标尺度估计时，本发明使用了基于区域的快速HOG特征提取算法。相比现有技术，本发明方法既能够精确跟踪目标，又能有效地提高跟踪速度。

技术领域

本发明涉及一种基于分层注意力机制的孪生网络视频目标跟踪方法，属于视频分析领域。

背景技术

视频目标跟踪是计算机视觉的研究热点之一，在人机交互、军事侦察、无人驾驶以及安防等诸多方面有着广泛的应用前景。

相关滤波器由于其计算速度快，可以使目标跟踪达到实时。但相关滤波使用的手工特征，由于特征表达能力有限，在复杂环境下的目标跟踪能力有限。随着深度学习的兴起，研究人员开始将深度网络学习获得的特征应用到相关滤波中。例如，Ma等通过分析VGG-19的网络特征，提出了一种分层卷积特征(Hierarchical Convolutional Features,HCF)方法。该方法研究发现高层特征反映目标的语义信息，对目标更加鲁棒，而低层特征反映目标的细节信息，对目标的定位更加精确，后来，研究人员使用深度学习框架实现了端对端的目标跟踪，跟踪结果不断精确，但由于训练参数巨大，实时性受到影响。

虽然在过去几十年该技术的研究取得了很大的进展，但由于在实际的跟踪环境下，目标会受到背景杂波、尺度变化以及遮挡等复杂情形的影响，因此设计一个准确、高效、鲁棒地跟踪器始终具有重要的应用价值。

发明内容

本发明的目的在于克服现有技术中的不足，提供一种基于分层注意力机制的孪生网络视频目标跟踪方法，解决在视频目标跟踪中，目标受到背景杂波等复杂环境的影响，会出现目标漂移或跟踪实时性下降，并且还要考虑目标尺度变化的技术问题。

为达到上述目的，本发明是采用下述技术方案实现的：

第一方面，本发明提供了一种基于分层注意力机制的孪生网络视频跟踪方法，所述方法包括以下步骤：

步骤1、读取并预处理网络输入的模板图像和搜索图像；

步骤2、将预处理后的模板图像和搜索图像分别输入到训练好的孪生网络模型中，经过Inception模块以及卷积层的特征提取模块分别得到模板图像和搜索图像的特征图；

所述孪生网络模型包括模板分支和搜索分支，模板分支和搜索分支特征提取模块分别提取特征，模板分支上加入注意力模块进行特征重标定；

步骤3、通过模板分支网络第三卷积层提取低层特征，通过模板分支网络第五卷积层提取高层特征，将所述低层特征与所述高层特征分别通过注意力模块；

步骤4、将模板分支通过注意力模块的特征与搜索分支得到的特征进行相关操作，得到各层对应的响应图，再将各层响应图采用AdaBoost算法进行融合得到最终响应图，进而得到目标位置；

步骤5、在目标位置的基础上利用尺度滤波器进行尺度估计，通过设置尺度池，训练尺度滤波器选出最优尺度大小；

步骤6、根据最优尺度大小更新尺度滤波器；

步骤7、判断当前帧是否是最后一帧，如果是，则结束，否则读取新一帧搜索图像并跳转步骤1。

进一步的，所述方法的步骤还包括：构建并训练孪生网络模型；

所述孪生网络模型的构建方法为：