[发明专利]一种结合残差注意力和上下文信息的目标跟踪算法

说明书

本发明请求保护一种结合残差注意力网络和上下文信息的目标跟踪算法，该算法首先将跟踪的视频序列中的第一帧传到卷积层里面得到256张特征图，然后将第一帧的特征图传到残差注意力网络里面得到残差特征图。然后将残差特征图和卷积层特征图结合得到残差响应图。同时将上一帧和当前帧同时传到卷积网络层里面来提取特征图，然后将第一帧的残差响应图，上一帧和当前帧的特征图同时传到三个全连接层里面来预测当前帧中跟踪目标的位置。最后通多输出层来输出当前帧中跟踪目标左上角和右下角的坐标位置。本发明提高了跟踪算法在目标遮挡等复杂情况下的准确率和鲁棒性。

技术领域

本发明属于图像处理技术领域，特别涉及基于卷积神经网络的残差注意力机制和融合上下文信息的目标跟踪方法以及两种方法的结合。

背景技术

目标跟踪算法是计算机视觉领域里面的一个重要的方向有着广泛的应用。越来越多的学者都致力于目标跟踪算法的研究。目标跟踪算法主要分为以下两种：传统的目标跟踪算法、基于卷积神经网络的跟踪算法。

传统的目标跟踪算法主要分为产生式模型和判别式模型。生成式模型是将跟踪问题看做搜索与跟踪目标最相近的图像区域，主要包括采用稀疏表示模型、密度估计模型、增量子空间模型等等。判别式模型主要是利用在线学习或者离线训练检测器来区分背景和目标，找出目标所在的位置。这些跟踪算法通常基于多实例学习、P-N学习、结构化支持向量机(support vector machine SVM)等分类器。传统算法中由于相关滤波器在计算效率的优异性能，使其在目标跟踪领域备受关注。其中一种具有平均误差的滤波器跟踪速度可以达到每秒百帧。同时一种基于相关滤波的CSK跟踪算法，解决了密集采样问题，并利用了傅里叶变换快速实现了检测过程完成了跟踪。

基于卷积神经网络的目标跟踪算法主要分为三大类：基于分类的卷积神经网络目标跟踪、基于回归的卷积神经网络目标跟踪、基于相似度匹配的卷积神经网络目标跟踪。基于分类的卷积神经网络目标跟踪充分的利用了卷积神经网络特征提取和分类的强大能力，通过离线训练和再现微调的方法利用大量的数据离线训练网络，使网络获得通用特征表达能力，再利用第一帧目标周围的正负样本的信息在线微调，大大减少了对于样本的需求，基于回归的卷积神经网络目标跟踪通过输出的热度图直接回归出当前帧中跟踪目标所在的位置。基于相似度匹配的卷积神经网络目标跟踪是将跟踪视频序列中的第一帧或者上一帧作为模板，使用模板和候选区域来进行相似度匹配，相似度最高的区域就是我们要跟踪的目标位置。

虽然跟踪算法众多但是仍然存在着一些问题，在复杂场景中仍存在目标形变、光照变化、快速运动、相似背景干扰、遮挡和尺度变化等问题。基于卷积神经网络的跟踪算法虽然可以取得出色的跟踪效果，但是这些算法存在着计算量大，运行速度慢的问题很难达到实时跟踪。基于卷积神经网络的GOTURN算法虽然可以达到每秒百帧但是存在着准确率低，鲁棒性差的问题。我们的算法在孪生网络的基础上增加了残差注意网络和融合了上下文信息，使得我们的算法在兼顾速度的基础上提升了跟踪精度。

发明内容

本发明旨在解决以上现有技术的问题。提出了一种提升了跟踪精度的结合残差注意力和上下文信息的目标跟踪算法。本发明的技术方案如下：

一种结合残差注意力和上下文信息的目标跟踪算法，其包括以下步骤：

S1、将第一帧已经标注好的的跟踪目标区域，上一帧已经预测的区域和当前帧的搜索区域同时传到卷积层，得到第一帧的卷积特征图、上一帧的卷积特征图及当前帧的卷积特征图；

S2、将第一帧的卷积特征图送到残差注意力网络经过五层卷积操作得到残差特征图；

S3、将第一帧的卷积特征图和残差特征图进行乘积操作得到残差响应特征图；

S4、将第一帧的残差特征响应图、上一帧和当前帧的卷积特征图传到全连接层，通过全连接层将卷积层二维的特征图转成一维的向量，通过全连接层来学习第一帧，上一帧和当前帧三者之间的时空关系；