[发明专利]一种基于级联特征融合的孪生网络目标跟踪方法

说明书

本发明提出了一种基于级联特征融合的孪生网络目标跟踪方法，包括以下步骤：采用改进的五阶段的ResNet‑50网络作为孪生网络的骨干网络，利用骨干网络的模板分支和搜索分支分别提取模板图像和搜索图像的浅层和深层特征；对模板分支和搜索分支的残差网络的最后三个残差块Res3、Res4和Res5分别进行逐级级联融合，分别得到两个分支的三个特征图R3、R4和R5；将两个分支的三个特征图R3、R4和R5分别进行交叉互相关计算，然后通过无锚框网络将交叉互相关计算后的特征进行目标的分类和回归。本发明实现目标浅层外观特征和深层语义特征的有效融合，提高目标的有效识别和定位。

技术领域

本发明属于目标跟踪技术领域，具体涉及一种基于级联特征融合的孪生网络目标跟踪方法。

背景技术

目标跟踪技术作为计算机视觉的主要研究内容之一，越来越受到广泛关注，在智能交通管理、视频监控、自动驾驶、军事侦察等多领域具有广泛的应用。目标跟踪的任务是估计目标在图像序列中的轨迹。目前大多数目标跟踪算法是依赖于第一帧图像，使得目标跟踪利用有限的训练数据创建一个适用于各种外观变化的跟踪器。但是，当出现光照变化、目标旋转、目标尺寸巨变、背景相似物干扰、遮挡等情况时，目标跟踪过程中难以精确地提取丰富的特征信息，容易导致目标跟踪出现漂移或者跟踪丢失。当下最流行的目标跟踪算法是基于深度学习和相关滤波器的目标跟踪器。

随着深度学习的发展，基于Siamese网络架构的跟踪器由于其出色的跟踪性能，特别是对跟踪准确性和速度的良好平衡性，引起了广泛的关注。孪生网络算法采用两个网络分支，分别提取目标和候选目标的特征，将目标跟踪问题转化为了相似度计算问题。

注意力机制与孪生网络相结合被广泛的应用到各种目标跟踪任务中。虽然基于孪生网络的目标跟踪取得了长足的发展，然而，视觉目标跟踪算法仍然受到一些问题的困扰：首先，大多数Siamese跟踪器使用较浅的分类网络(如AlexNet)作为骨干网络，但未能利用较深网络结构中较强的特征提取能力；其次，在匹配跟踪中，只使用了包含更多语义信息的最后一层特征，而低层空间特征对跟踪性能的影响还没有得到充分的探索，有些算法虽然采用了特征融合操作实现特征提取，但是大多局限于通道特征和空间特征的融合，或者是简单的深层和浅层特征的简单应用，导致深层特征分辨率较低，语义信息应用不充分；然后，这些算法大多是依赖于第一帧图像作为模板图像，当光照变化、目标变形、背景相似物干扰、目标遮挡时，模板容易失效，出现目标跟踪丢失的问题。

发明内容

本发明要解决的技术问题是针对现有技术的不足而提供一种基于级联特征融合的孪生网络目标跟踪方法。

为解决上述技术问题，本发明的内容包括：

一种基于级联特征融合的孪生网络目标跟踪方法，包括以下步骤：

S1.采用改进的五阶段的ResNet-50网络作为孪生网络的骨干网络，利用骨干网络的模板分支和搜索分支分别提取模板图像和搜索图像的浅层和深层特征；

S2.对模板分支和搜索分支的残差网络的最后三个残差块Res3、Res4和Res5分别进行逐级级联融合，分别得到两个分支的三个特征图R3、R4和R5；

S3.将两个分支的三个特征图R3、R4和R5分别进行交叉互相关计算，然后通过无锚框网络将交叉互相关计算后的特征进行目标的分类和回归。

进一步的，所述步骤S1中，对ResNet-50网络的改进包括：将残差块Res4和Res5的原始步幅从16和32像素减少到8像素，并通过扩张卷积操作增加感受野；采用空间感知采样策略对整个网络进行训练；通过1×1卷积操作将多层特征映射的通道改变为256，并将中心7×7区域裁剪为模板特征，其中每个特征单元可以捕获整个目标区域。

进一步的，所述步骤S1中，骨干网络的模板分支和搜索分支具有相同的卷积结构和相同的网络参数。