[发明专利]一种基于多特征图融合和多尺度膨胀卷积的目标跟踪方法

权利要求书

1.一种基于多特征图融合和多尺度膨胀卷积的目标跟踪方法，其特征在于，包括以下步骤：

S1、将视频初始帧中已经标注好目标位置的模板图像和搜索图像送入同一个特征提取网络，分别获取特征提取网络中最后三层的特征图。

S2、将模板图像和搜索图像各自的三个输出特征图进行卷积融合，分别得到融合后的特征图；

S3、将步骤S2融合后的两张特征图进行互相关操作得两张特征响应图；

S4、将两张特征响应图分别通过三个平行的不同尺度膨胀卷积层，输出不同感受野的三张特征响应图；

S5、将不同感受野的三张特征响应图进行逐点融合，输出融合后的特征响应图；

S6、将两个融合后的特征响应图送入对应的分类分支和回归分支；在分类分支中通过卷积操作，得到分类分支的最大响应区域；在回归分支中通过卷积操作得到当前位置与目标位置相关偏移量；

S7、将分类分支特征相应图最大响应区域与回归分支对应区域的偏移量结果相结合，预测表示出待跟踪目标在当前帧的位置。

2.根据权利要求1所述的基于多特征图融合和多尺度膨胀卷积的目标跟踪方法，其特征在于，所述步骤S1的特征提取网络以残差模块为基础进行网络搭建，并在网络的第16层，第19层和第22层分别输出模板图像的三张特征图z₁、z₂、z₃以及搜索图像的三张特征图x₁、x₂、x₃ 。

3.根据权利要求2所述的基于多特征图融合和多尺度膨胀卷积的目标跟踪方法，其特征在于，所述步骤S2的卷积融合直接通过卷积操作得到融合后的模板图像特征图z以及融合后的搜索图像特征图x计算公式为：

其中公式中代表的是融合操作。

4.根据权利要求3所述的基于多特征图融合和多尺度膨胀卷积的目标跟踪方法，其特征在于，所述步骤S3中的两张特征响应图是将融合后的搜索图像特征图和融合后的模板图像特征图进行互相关操作得到，计算公式如下：

f(z,x)＝z*x+b

其中符号*代表互相关操作，b代表偏移量。

5.根据权利要求4所述的基于多特征图融合和多尺度膨胀卷积的目标跟踪方法，其特征在于，所述S4的两张特征响应图是经过膨胀系数的膨胀卷积层卷积得到的，其中膨胀卷积的膨胀系数分别是(1，2)、(1，1)、(2，1)。

6.根据权利要求4所述的基于多特征图融合和多尺度膨胀卷积的目标跟踪方法，其特征在于，所述步骤S3将步骤S2融合后的两张特征图采用逐通道进行互相关操作的深度互相关操作得两张特征响应图。

7.根据权利要求6所述的基于多特征图融合和多尺度膨胀卷积的目标跟踪方法，其特征在于，所述S6的分类分支中的特征响应图是将融合后的响应图降低通道数得到；所述S6的回归分支是将融合后的响应图降低通道数后，通过对两个区域的中心位置坐标及长宽进行L1的损失函数约束和DIoU的距离约束回归得到，其中DioU距离损失函数定义如下：

其中，b,b^gt分别代表预测框和目标框的中心点，ρ代表的是计算两个中心点间的欧式距离，c代表可以覆盖预测框和目标框的最小矩形的对角线距离。

8.根据权利要求6所述的基于多特征图融合和多尺度膨胀卷积的目标跟踪方法，其特征在于，在分类分支中通过卷积操作，得到分类分支的最大响应区域；在回归分支中通过卷积操作得到当前位置与目标位置相关偏移量。

9.根据权利要求8所述的基于多特征图融合和多尺度膨胀卷积的目标跟踪方法，其特征在于，所述S7的结果结合是在分类分支中得到的最大响应点映射回原图，并根据回归分支的坐标回归，对目标进行尺度变换与偏移。