[发明专利]基于重参数卷积和特征过滤器的目标跟踪方法与系统

说明书

本发明提出一种基于重参数卷积和特征过滤器的目标跟踪方法与系统，该方法包括：构建得到特征提取子网络；将多个卷积分支压缩成一个单一的卷积块以构建得到无批次归一化重参数卷积模块；构建得到特征融合网络，通过特征融合网络中的特征过滤器对目标模板深度特征以及搜索区域深度特征进行融合，以获得中间融合特征；将目标模板深度特征进行优化以获得最终的模板特征并进行融合得到分数预测图；对分数预测图中得分最高的目标候选块进行目标跟踪。本发明通过提出的特征提取子网和特征融合网络，获得丰富的通道和空间信息，从而对重要信息的特征进行增强以获得中间融合特征，提高相似度计算的准确性，实现更准确的跟踪效果。

技术领域

本发明涉及计算机视觉与图像处理技术领域，特别涉及一种基于重参数卷积和特征过滤器的目标跟踪方法与系统。

背景技术

计算机视觉作为人工智能（AI）的重要组成部分，为科学技术的发展做出了巨大的贡献。其中，目标跟踪作为计算机视觉领域的经典研究课题，在人机交互、视频编辑等领域有着重要的应用。在真实的物体跟踪场景中，由于物体外观和场景变化的复杂性，实现精确的目标跟踪仍然是一个具有挑战性的问题。

近年来，随着深度学习技术的应用，目标跟踪算法的性能有了很大提高。其中，基于孪生网络的目标跟踪算法因其具有速度快、精度高以及在多种数据集上的优异性能，在目标跟踪领域受到了广泛关注。基于孪生网络的目标跟踪能够很好地计算两个分支输入的相似度。首先，在搜索区域内逐点进行目标模板匹配，然后在匹配结果中找到相似度最大的目标候选作为下一帧的目标位置。

基于孪生网络的跟踪器使用传统的卷积神经网络进行特征提取，传统的卷积神经网络通过卷积获得基于像素的非常精细的局部特征，而在增强局部特征时丢失了许多其它的固有信息(如位置信息和全局信息)，因此如何充分利用更多的内在信息是提高特征提取能力的关键。

现有的基于孪生网络的跟踪器，使用互相关联操作进行特征融合，以获得更好的跟踪性能。然而，此种特征融合方法忽略了全局空间背景，使得空间信息得不到充分利用，而空间信息对目标定位至关重要，这将导致丢失大量目标前景和背景的可辨别性信息，无法在剧烈的外观变化中实现精确跟踪目标。

发明内容

鉴于上述状况，本发明的主要目的是为了解决现有技术中，部分视觉跟踪算法由于没有充分捕获通道信息、全局空间上下文信息以及搜索区域分支中的重要信息，导致丢失大量目标前景与背景的可辨别性信息，进而导致无法在剧烈的外观变化中精确跟踪目标的问题。

本发明实施例提出一种基于重参数卷积和特征过滤器的目标跟踪方法，其中，所述方法包括如下步骤：

步骤一：在双分支网络目标跟踪框架下，基于深度卷积神经网络与无批次归一化重参数卷积模块构建得到特征提取子网络；其中，所述特征提取子网络用于分别对目标模板分支与搜索区域分支进行特征提取以得到目标模板深度特征以及搜索区域深度特征；

步骤二：将多个卷积分支压缩成一个单一的卷积块以构建得到所述无批次归一化重参数卷积模块；

步骤三：在双分支网络目标跟踪框架下，基于互相关操作以及特征过滤器构建得到特征融合网络，并通过所述特征融合网络中的特征过滤器对所述目标模板深度特征以及所述搜索区域深度特征在全局空间背景下进行融合，以获得中间融合特征；

步骤四：将所述目标模板深度特征通过跟踪模型进行优化以获得最终的模板特征，通过互相关操作对所述中间融合特征以及所述最终的模板特征进行融合以得到分数预测图；

步骤五：对分数预测图中得分最高的目标候选块进行目标跟踪。

本发明还提出一种基于重参数卷积和特征过滤器的目标跟踪系统，其中，应用如上所述的基于重参数卷积和特征过滤器的目标跟踪方法，所述系统包括：

第一构建模块，用于：