[发明专利]一种基于多特征图融合的目标跟踪方法、系统及存储介质

说明书

本发明请求保护一种基于多特征图融合的目标跟踪方法、系统及存储介质，包括步骤：S1将初始帧中已经标注好位置的待跟踪目标区域图像和当前帧搜索区域图像送入同一个特征提取网络，分别得到三个输出特征图；S2对三个输出特征图进行卷积；S3将融合后特征图分别送入分类分支和回归分支，在分类分支中得到目标位置响应图，在回归分支得到当前位置对目标位置的尺度变换和平移；S4结合分类分支的最大响应区域与回归分支的目标移动量，预测表示出待跟踪目标在当前帧的位置。本发明提高了跟踪方法在目标尺度变化较大等复杂情况下的鲁棒性与准确率。

技术领域

本发明属于图像处理技术领域，特别涉及基于卷积神经网络的多特征融合的目标跟踪方法、系统。

背景技术

目标跟踪方法属于计算机视觉领域，并在军事安防娱乐等众多方面有着广泛的应用。目标跟踪方法主要分为基于传统方法的跟踪方法和基于卷积神经网络的跟踪方法两类。

基于传统方法的跟踪方法中，相关滤波最具有代表性。核心思想是训练时使用目标周围区域的循环矩阵制作正负样本集，并利用岭回归训练一个目标检测器，在跟踪时通过检测器判别出目标的位置。因为是离线训练，所以实际跟踪时计算量小，速度较之前的方法有很大的提升，可以满足实时性的要求。

基于卷积神经网络的目标跟踪方法中，主要有基于分类的卷积神经网络跟踪方法，基于回归的卷积神经网络跟踪方法，基于相似度匹配的卷积神经网络跟踪方法，其中基于相似度匹配的方法最有代表性。最初此方法是在搜索区域中划分出多个候选区域，再分别与目标区域进行相似度计算，找到相似度最高的区域。之后思路直接通过特征提取网络，将目标区域和候选区域进行卷积，得到对应的特征图，然后再在特征图上进行卷积，得到相似度的响应图，最大响应区域映射回搜索区域，即为目标的预测位置。

虽然跟踪方法很多，但是在实际场景下仍然存在很多挑战，例如光照变化，背景的相似性干扰，遮挡，目标形变问题等。之前的基于卷积神经网络的跟踪方法，虽然在实时性上有很大的提高，但是对于目标的形变问题与预测准确度仍存在一定问题。目前对于目标的形变问题采用的是图像金字塔的预处理，将目标手动设定为几个固定的尺度，再传入深度学习模型。本发明主要解决的就是跟踪目标不同尺度的形变问题，通过多个特征图的融合，来很好的适应目标的尺度变换。之前的发明是固定几个尺度的，而本发明通过深度学习模型来学习目标的尺度变换，并且几个特征图进行融合，使得模型的鲁棒性更强。

发明内容

本发明旨在解决以上现有技术的问题。提出了一种基于多特征图融合的目标跟踪方法。本发明的技术方案如下：

一种基于多特征图融合的目标跟踪方法，其包括以下步骤：

S1、将初始帧中已经标注好位置的待跟踪目标区域图像和当前帧搜索区域图像送入同一个特征提取网络，目标区域图像与带搜索区域图像分别得到三个输出特征图；

S2、将目标区域图像与带搜索区域图像各自的三个输出特征图进行卷积融合，分别得到融合后的特征图；

S3、将融合后特征图分别送入分类分支和回归分支，在分类分支中通过特征图卷积操作，计算两个特征图对应位置间的交叉互相关性，得到特征响应图；在回归分支中分别表示当前位置与目标位置下标的相关偏移量；

S4、结合分类分支的最大响应区域与回归分支的目标移动量，预测表示出待跟踪目标在当前帧的位置。

进一步的，所述步骤S1的特征提取网络以深度学习网络模型中常用的残差模块为基础进行网络搭建，并在网络的第16层，第19层和第22层分别输出网络通道特征图(F₁)，网络通道特征图(F₂)和网络通道特征图(F₃)。

进一步的，所述步骤S2将目标区域图像与带搜索区域图像各自的三个输出特征图进行卷积融合，分别得到融合后的特征图(F_f)，计算公式为：