[发明专利]一种基于目标检测和特征融合的目标跟踪方法及系统

说明书

本公开提出了一种基于目标检测和特征融合的目标跟踪方法及系统，包括如下步骤：获取样本图像及待识别的当前图像；将样本图像和待识别图像分别输入至改进后的FTCTrack跟踪器中，输出目标跟踪结果；所述改进后的FTCTrack跟踪器的主干网络中包括柔性注意力机制模块和时间线索模块。将柔性注意力机制应用在跟踪器模型中，使跟踪器模型关注输入图像的感兴趣区域，以此来解决如何区分类内实例的问题。其次，在跟踪器模型中增加时间线索模块，使用BiLSTM获取连续帧之间时间线索，有效的解决在跟踪中出现遮挡、变形、背景杂乱等问题，从而融合目标检测方法进行目标跟踪，提高目标跟踪的准确率与成功率。

技术领域

本公开涉及目标跟踪相关技术领域，具体的说，是涉及一种基于目标检测和特征融合的目标跟踪方法及系统。

背景技术

本部分的陈述仅仅是提供了与本公开相关的背景技术信息，并不必然构成在先技术。

目标跟踪是根据第一帧中选择的一个区域作为目标，在接下来的视频帧中自动找到该目标，并输出该目标的位置信息的任务。近年来，随着计算机处理能力的提升和深度学习的高速发展，目标跟踪领域得到了迅速发展，目标跟踪依旧是计算机视觉研究中的热门领域。尽管如此，目标跟踪中一些不确定性因素，例如目标的形变、遮挡等问题，使得目标跟踪仍然面临着很大的挑战。

目标检测这几年发展快速，目标检测和目标跟踪有着密切的联系，致使很多研究者将目标检测的理念迁移到目标跟踪中来。到目前为止，很多目标检测技术被应用到目标跟踪领域，并在目标跟踪中体现出非常好的性能。例如目标检测中的区域推荐网络模块(PRN)，就被很多跟踪器借鉴。还有一些学者研究了当下目标检测器与目标跟踪器的区别，致力于将目标检测器转换为目标跟踪器的研究。目标检测任务和目标跟踪任务极为相似，他们均为以图片(或者视频帧)作为模型的输入，经过处理后，输出一堆代表目标物体位置的矩形框。它们之间最大的区别体现在对“目标物体”的定义和是否考虑图片(或者视频帧)之间的联系。发明人发现，为了更好的区分类内实例和更充分地利用视频帧之间的时间线索，有人提出了将现有的目标检测器改造成目标跟踪器一种通用的统一的架构和方法，用以克服了两者的不同，将目标检测器转变成优良的目标跟踪器，但是，跟踪效果受跟踪视频中目标遮挡、变形等不确定因素对跟踪结果准确度影响较大。

发明内容

本公开为了解决上述问题，为了弥补检测器无法区分类内实例和无法充分利用连续帧之间的时间线索这两个问题，以及减少目标遮挡、变形、背景杂乱等问题在跟踪中对跟踪结果的影响，提出了一种基于目标检测和特征融合的目标跟踪方法及系统，将柔性注意力机制应用在跟踪模型中，使跟踪模型关注输入图像的感兴趣区域，以此来解决如何区分类内实例的问题。其次，在跟踪模型中增加时间线索模块，使用BiLSTM获取连续帧之间时间线索，有效的解决在跟踪中出现遮挡、变形、背景杂乱等问题，从而融合目标检测方法进行目标跟踪，提高目标跟踪的准确率与成功率。

为了实现上述目的，本公开采用如下技术方案：

一个或多个实施例提供了一种基于目标检测和特征融合的目标跟踪方法，包括建立双层网络的FTCTrack跟踪器，上层网络用于输入样本图像，采用柔性注意力机制，获取目标特征，使得模型能够区分类内实例；下层网络用于输入当前要查询的图像，添加时间线索模块，获取连续帧之间时间线索，形成带有时间线索的上下文特征，将目标特征和上下文特征进行融合，实现目标的准确跟踪。

一个或多个实施例提供了一种基于目标检测和特征融合的目标跟踪系统，其特征是：包括视频信息采集装置以及处理器，所述处理器执行权利要求1-7任一项所述的一种基于目标检测和特征融合的目标跟踪方法。

一种电子设备，包括存储器和处理器以及存储在存储器上并在处理器上运行的计算机指令，所述计算机指令被处理器运行时，完成上述方法所述的步骤。

一种计算机可读存储介质，用于存储计算机指令，所述计算机指令被处理器执行时，完成上述方法所述的步骤。

与现有技术相比，本公开的有益效果为：