[发明专利]一种基于多特征图融合和多尺度膨胀卷积的目标跟踪方法

说明书

本发明请求保护一种基于多特征图融合和多尺度膨胀卷积的目标跟踪方法，包括步骤：S1将初始帧中已经标注好位置的待跟踪目标区域图像和当前帧搜索区域图像送入同一个特征提取网络，分别得到三个输出特征图；S2分别对两张图像的三个输出特征图进行融合；S3将融合后的两张图像进行互相关操作得两张特征响应图；S4分别对两张特征响应图通过三个不同尺度的膨胀卷积层得到不同感受野的特征响应图；S5将相关特征进行逐点求融合；S6将融合后特征图分别送入分类分支和回归分支；S7结合分类分支的最大响应区域与回归分支的目标移动量，预测表示出待跟踪目标在当前帧的位置。本发明提高了跟踪方法在目标尺度变化较大等复杂情况下的鲁棒性与准确率。

技术领域

本发明属于图像处理技术领域，特别涉及基于卷积神经网络的多特征图融合和多尺度膨胀卷积的目标跟踪方法。

背景技术

目标跟踪方法属于计算机视觉领域，并在军事安防娱乐等众多方面有着广泛的应用。目标跟踪方法主要分为基于传统方法的跟踪方法和基于卷积神经网络的跟踪方法两类。

基于传统方法的跟踪方法中，相关滤波最具有代表性。核心思想是训练时使用目标周围区域的循环矩阵制作正负样本集，并利用岭回归训练一个目标检测器，在跟踪时通过检测器判别出目标的位置。因为是离线训练，所以实际跟踪时计算量小，速度较之前的方法有很大的提升，可以满足实时性的要求。

基于卷积神经网络的目标跟踪方法中，主要有基于分类的卷积神经网络跟踪方法，基于回归的卷积神经网络跟踪方法，基于相似度匹配的卷积神经网络跟踪方法，其中基于相似度匹配的方法最有代表性。最初此方法是在搜索区域中划分出多个候选区域，再分别与目标区域进行相似度计算，找到相似度最高的区域。之后思路直接通过特征提取网络，将目标区域和候选区域进行卷积，得到对应的特征图，然后再在特征图上进行卷积，得到相似度的响应图，最大响应区域映射回搜索区域，即为目标的预测位置。

虽然跟踪方法很多，但是在实际场景下仍然存在很多挑战，例如光照变化，背景的相似性干扰，遮挡，目标形变问题等。之前的基于卷积神经网络的跟踪方法，虽然在实时性上有很大的提高，但是对于目标的形变问题与预测准确度仍存在一定问题。

我们采用的的多尺度特征融合可以使输出的特征图能表示更多的语义信息和结构及信息有利于后面的相似度计算。对每个分支我们采用的多尺度膨胀卷积有增强模型在多个方向上的感知能力。增加了DioU损失函数能进一步提升对目标预测的精确度。

发明内容

本发明旨在解决以上现有技术的问题。提出了一种基于多特征图融合和多尺度膨胀卷积的目标跟踪方法。本发明的技术方案如下：

一种基于多特征图融合和多尺度膨胀卷积的目标跟踪方法，其包括以下步骤：

S1、将视频初始帧中已经标注好位置的待跟踪目标区域图像和当前帧搜索区域图像送入同一个特征提取网络，并在网络的第16层，第19层和第22层分别输出模板图像的三张特征图z₁、z₂、z₃以及搜索图像的三张特征图x₁、x₂、x₃

S2、将模板图像与搜索图像各自的三个输出特征图进行卷积融合，分别得到融合后的特征图；

S3、将步骤S2融合后的两张特征图进行互相关操作得两张特征响应图；

S4、将两张特征响应图分别通过三个平行的不同尺度膨胀卷积层，输出不同感受野的三张特征响应图；

S5、将不同感受野的三张特征响应图进行逐点融合，输出融合后的特征响应图；

S6、将两个融合后的特征响应图送入对应的分类分支和回归分支；在分类分支中通过特征图卷积操作，计算两个特征图对应位置间的交叉互相关性，得到特征响应图；在回归分支中分别表示当前位置与目标位置下标的相关偏移量；