[发明专利]结合模板更新与轨迹预测的孪生网络目标跟踪方法

说明书

本发明公开了结合模板更新与轨迹预测的孪生网络目标跟踪方法，包括：通过预处理后的数据集离线训练得到目标跟踪模型，当前帧通过目标跟踪模型提取图像特征，将其与模板图像进行比对，从而确定下一帧待跟踪目标在图像中的位置信息，在整个目标跟踪过程中，对于模板图像进行在线更新，持续迭代更新模板图像特征，同时根据历史帧中目标运动位置变化信息，利用卡尔曼滤波方法进行轨迹预测，实现对于单目标的稳定跟踪。

技术领域

本发明属于目标跟踪方法技术领域，涉及结合模板更新与轨迹预测的孪生网络目标跟踪方法。

背景技术

目标跟踪作为计算机视觉领域的一个重要分支，在自动驾驶、人机交互、智能交通等方面获得了越来越广泛的应用。目标跟踪技术旨在通过跟踪过程获得目标的实时位置、运动轨迹、运动速度以及加速度等相关参数，并以此为基础进行高级视觉任务分析，从而实现对目标行为的理解。现有的目标跟踪方法根据观察模型的不同可以分为生成式方法和判别式方法。生成式方法只关注目标本身，而判别式方法则将目标周围的背景区域也作为关注对象进行针对性训练，因此判别式方法可以更好的处理目标周围环境较为复杂的场景。近年来深度学习的发展，使得基于深度学习的判别式目标跟踪算法取得了显著成就。以孪生网络结构为基础的目标跟踪算法是典型的基于深度学习的判别式目标跟踪方法，孪生网络指基于两个人工神经网络建立的耦合构架，Bertinetto等人提出的全卷积孪生网络(Fully-Convolutional Siamese Networks，SiamFC)是使用双支路孪生网络结构处理目标跟踪问题的开山之作，其通过利用两个结构完全相同的全卷积网络来提取目标区域和搜索区域的特征，并计算两者之间的相似度，其中相似度最高的位置作为预测的目标位置，后续大批优秀的框架都以该结构为基础进行优化和改进。Valmadre等人提出非对称孪生网络，将神经网络与相关滤波相结合。Guo等人提出动态孪生网络，在线学习跟踪目标的外观变化并进行背景抑制。Choi等人提出注意力相关滤波网络，将注意力机制引入了跟踪框架。Yuan等人提出抗遮挡跟踪算法，从残差神经网络(Residual Neural Network，ResNet)的不同层中提取目标特征以生成响应图，并引入遮挡检测策略来避免模型漂移。

但以上目标跟踪算法仍存在以下缺点，限制了算法的性能：1)孪生网络往往使用离线训练的方式，没有充分利用在线跟踪信息，并且这些方法始终以第一帧选取的目标作为模板图像，在后续目标发生形变、颜色或光照发生变化时，不能很好地识别目标，缺乏对模板图像的更新迭代。2)孪生网络是通过模板图像和搜索图像互相关进行目标的定位，没有利用跟踪过程中的目标轨迹信息，对于快速运动或者被遮挡的目标不能较好地进行稳定跟踪。

发明内容

本发明的目的是提供一种结合模板更新与轨迹预测的孪生网络目标跟踪方法，解决了现有技术中存在的目标跟踪稳定性差问题。

本发明所采用的技术方案是，结合模板更新与轨迹预测的孪生网络目标跟踪方法，包括：

步骤1、建立目标跟踪模型，目标跟踪模型包括特征提取分支、正负样本分类分支及位置信息回归分支；

步骤2、框选初始帧图像x₀目标边界框，在初始帧图像x₀目标边界框的中心位置裁剪得到模板图像，并进行模板图像的特征提取，得到模板图像特征；

步骤3、初始化卡尔曼滤波器，将初始帧图像x₀目标边界框的中心位置输入卡尔曼滤波器，预测得到下一帧图像x_t,t＝1…n目标中心位置；

步骤4、获取下一帧图像x_t，根据前一帧图像x_t-1目标边界框的中心位置和当前帧图像x_t目标中心位置融合出当前帧图像x_t的目标搜索中心位置，在目标搜索中心位置裁剪得到搜索图像，对搜索图像进行特征提取，得到搜索图像特征；