[发明专利]时空卷积孪生匹配网络目标跟踪方法、装置、介质及设备

说明书

本发明提供了一种时空卷积孪生匹配网络目标跟踪方法、装置、介质及设备；其中方法包括如下步骤：预处理训练数据；训练卷积神经网络模型；分别提取目标跟踪视频的第一帧图像、搜索帧图像以及搜索帧前T帧图像的特征；将第一帧图像的特征和搜索帧图像的特征进行互相关操作，得到第一互相关响应图R1；采用三维卷积方式对搜索帧前T帧图像的特征进行融合生成注意力响应图；将注意力响应图和第一帧图像的特征相乘，得到新的模板帧特征；将新的模板帧特征和搜索帧的特征进行互相关操作，得到第二互相关响应图R2；将R1和R2中APCE系数较大的一项作为最新跟踪对象。本发明能够适应目标的变形和遮挡；在不影响速度的情况下有效提高跟踪精度。

技术领域

本发明涉及图像目标跟踪技术领域，更具体地说，涉及一种时空卷积孪生匹配网络目标跟踪方法、装置、介质及设备。

背景技术

目标跟踪是深度学习领域的基本任务之一。跟踪目标是单个的、任意的，并且在跟踪时仅使用视频的第一帧进行初始化。在跟踪过程中，通常伴随着背景的变化以及目标的位移和旋转。

当前有两种主要的视觉跟踪策略。第一个基于经典的分类与更新方法。它需要在线更新分类器或目标外观模型，然后在下一帧的候选样本中选择最佳匹配。具体地说，相关滤波器的基本思想是设计一个滤波器模板，利用该模板对目标候选区域进行相关运算。响应图中最大输出的位置是当前帧的目标位置。随着深度学习的发展，此类方案还通过引入深度神经网络实现了显着的性能提升。基于相关滤波器的跟踪器在跟踪过程中需要在线更新模板，由于在线更新模型非常耗时，因此此类跟踪器很难达到实时的跟踪速度。一些基于上述方法的最先进的深度跟踪器，尽管确实可以达到很高的准确性，但大多数情况下不是实时的。

第二个是近年来发展迅速的孪生系列跟踪网络，这些跟踪网络使用模板帧和搜索帧进行模板匹配以获得响应图。孪生系列跟踪器，又称SiamFC跟踪器，最大优势是其实时速度。但是，SiamFC跟踪器使用的模板帧从头到尾始终是第一帧，并且随着目标和背景在跟踪过程中发生变化，不会对模板进行任何修改。这种基于匹配的跟踪器缺乏良好的在线适应性，因此无法很好地捕获目标。与基于在线更新的分类器的跟踪器相比，这使它们仍然具有较大的精度差距。当相似的目标共存于目标邻域或目标发生显着变化时，基于匹配的跟踪器往往会失败，因为这些因素很容易干扰预先学习的匹配模型。

SiamFC跟踪器结构如上图1所示，其中z表示样本图像(即目标)，x表示待搜索图像。其后续工作很多。如果低级特征足以跟踪目标，EAST跟踪器会提前停止特征提取程序，以加快跟踪速度。CFNet跟踪器为低层CNN特性引入相关滤波器，在不影响精度的情况下加快跟踪速度。

为了获得更好的性能，SINT跟踪器结合了光流信息，但由于光流计算代价昂贵，其跟踪速度只有4fps。SiamRPN跟踪器引入RPN网络解决了尺度变换问题，在提高速度的同时提高了精度。SiamDW跟踪器改进了特征提取器，使用更深更广的网络进行特征提取。

对于暹罗网络，其两个分支可以在跟踪阶段保持固定或在线更新，以适应目标外观的变化。DSiam跟踪器从之前的帧中在线学习目标表观上的变化和背景抑制，获得了性能提升，但是速度有一定的下降。

总的来说，对于像ECO那样的在线更新的深度跟踪器，速度几乎无法满足实时要求。而像GOTURN那样直接以最后一帧为模板的跟踪器，容易造成累积误差。如果跟踪器仅使用第一帧作为模板帧(例如SiamFC跟踪器)，则最新帧的信息会丢失。

发明内容

为克服现有技术中的缺点与不足，本发明的目的在于提供一种时空卷积孪生匹配网络目标跟踪方法、装置、介质及设备，能够适应目标的变形和遮挡；在不影响速度的情况下有效提高跟踪精度。

为了达到上述目的，本发明通过下述技术方案予以实现：一种时空卷积孪生匹配网络目标跟踪方法，其特征在于：包括如下步骤：

S1步，预处理训练数据，将训练数据图片处理成设定尺寸格式，并使跟踪目标处于训练数据图片的中间；