[发明专利]一种基于双模板响应融合的目标跟踪方法

说明书

本发明公开了一种基于双模板响应融合的目标跟踪方法，目的是解决模板固定方式降低模板的准确性，模板动态更新方式降低模板鲁棒性的问题。技术方案是首先构建由特征提取模块、互相关响应模块、响应融合模块和目标框输出模块构成的目标跟踪系统；然后选择训练集，并对目标跟踪系统进行训练；最后使用训练好的目标跟踪系统对视频序列的每一帧进行目标跟踪，包括特征提取、互相关响应计算、互相关响应融合和目标的位置和大小预测，得到目标跟踪结果。目标跟踪过程中同时将视频第一帧初始化的模板和随后每一帧中的跟踪结果动态更新的模板用于孪生跟踪网络中，使两个模板各自的优劣得到互补，提升目标跟踪的精度，并保证鲁棒性、实时性。

技术领域

本发明属于计算机视觉目标跟踪领域，具体涉及一种在孪生网络结构中，基于双模板响应融合的目标跟踪方法。

背景技术

目标跟踪是计算机视觉领域的一项重要任务，按照目标数量可分为单目标跟踪和多目标跟踪。其中单目标跟踪的应用范围更为广泛。具体来说，对于一段视频序列，单目标跟踪是使用序列中的第一帧图像中给定的目标边界框来初始化跟踪器，并在随后的视频帧预测该目标的位置，并框出该目标。目标跟踪技术在军事、农业、安防等技术领域都发挥着重要作用，随着人工智能技术地快速发展和实际应用的需求增加，人们对于目标跟踪算法的性能要求也越来越高，因此对目标跟踪技术展开研究是十分必要的。

单目标跟踪算法主要分为两大类：生成式跟踪和判别式跟踪。生成式跟踪主要着眼于对目标外观数据的内在分布的刻画，这种外观数据不具备判别性。判别式跟踪将跟踪问题等价于一个分类问题，通过学习一个分类器将目标与背景分离。因为判别式跟踪算法具有很强的前景背景区分能力，所以其精确性和鲁棒性比生成式跟踪算法更高。

目前最流行的两种判别式跟踪方法分别是基于相关滤波的跟踪和基于深度学习的跟踪。其中基于深度学习的跟踪算法能够提取目标的深度特征，深度特征具有更加丰富的语义信息，对目标的外观表达能力更强。因此目前基于深度学习的方法具有更加优异的精确度和鲁棒性。目前基于深度学习的跟踪方法中，采用孪生网络结构的最为常见。孪生网络是两个参数完全相同的卷积神经网络。孪生网络跟踪器使用孪生网络作为特征提取网络，将其中一个网络分支作为模板分支，以视频首帧中的GT(Ground Truth，真实目标边界框)作为输入，提取目标的特征作为模板。另一个网络分支作为检测分支，首先对首帧后的每一帧提取检测区域，然后以检测区域作为网络输入，输出检测区域的特征。在随后的分类和回归网络中，对检测区域提取候选框，将候选框与模板特征进行匹配，选出匹配分数最高的候选框作为目标框，并对目标框的长宽进行回归修正。

当前，基于孪生网络的跟踪方法中，模板要么是固定的，要么是动态更新的。

模板固定是使用视频首帧的GT对模板进行初始化，随后的跟踪过程中模板保持不变。由于模板是用GT来初始化的，所以模板是绝对正确的；但在随后的视频帧中，目标可能会发生大小、形状等的变化，从而导致特征变化。这样使用固定模板无法获取目标最新的特征，使模板无法与目标的特征正确匹配，从而导致跟踪不准确。

动态更新模板是在首帧中对模板进行初始化，并在随后的跟踪过程中，根据每一帧预测的目标框，对模板进行更新。因为使用了每帧的跟踪结果来更新模板，所以模板始终包含目标的最新特征，可以提高跟踪准确性；但是如果跟踪中出现了跟丢或者跟偏的情况，更新模板将会受到背景特征的破坏，从而使模板变得不再鲁棒，导致跟踪出现错误。

因此，基于孪生网络的目标跟踪方法如何兼顾模板的准确性和鲁棒性，使模板在跟踪过程中可以始终获取到目标的最新特征，同时不会因为跟踪漂移而损坏，从而提升目标跟踪方法整体的准确度和鲁棒性，是本领域研究人员正在研究的热点问题。

发明内容

本发明要解决的技术问题是解决孪生网络跟踪方法中模板固定的方式可能会降低模板的准确性，而模板动态更新的方式可能会降低模板鲁棒性的问题。