[发明专利]基于高效模板更新与选择机制的双向目标跟踪方法及系统

说明书

本发明涉及一种基于高效模板更新与选择机制的双向目标跟踪方法，包括以下步骤：构建基于在线学习的目标跟踪器Tsubgt;0/subgt;；构建在线可靠性评估模块ORE；构建动态模板更新模块DTU；构建自适应模板选择模块ATS；构建基于离线学习的孪生跟踪器Tsubgt;1/subgt;；根据ORE、DTU和ATS，首先选择将当前视频帧图像输入Tsubgt;0/subgt;或者Tsubgt;1/subgt;，第一帧默认选择Tsubgt;0/subgt;，然后执行相应切换模式下的跟踪策略和模板策略，得到当前帧的最终预测结果。该方法及系统有效结合了基于在线学习跟踪器和基于离线学习跟踪器的优势，可以在具有挑战性的场景中获得更加稳定、鲁棒、准确的跟踪结果。

技术领域

本发明属于计算机视觉技术领域，具体涉及一种基于高效模板更新与选择机制的双向目标跟踪方法及系统。

背景技术

目标跟踪作为计算机领域中的一项重要研究课题受到了显著关注，其在诸多领域具有广泛的应用，比如无人驾驶、移动机器人等。给定被跟踪物体在第一帧中的真实位置，我们希望在后续帧中能够持续地对该物体进行跟踪。近年来，目标跟踪方法已经从深度学习中受益匪浅，并取得了长足的进步。但是，现有的目标跟踪方法难以应对背景杂乱、遮挡等具有挑战性的场景，容易出现目标漂移现象。

现有的基于深度神经网络的目标跟踪器通过利用深度网络强大的特征提取能力表现出较好的性能。这些跟踪器可以分为两类：基于在线学习的跟踪器和基于离线学习的跟踪器。基于在线学习的跟踪器具有较高的精度，其使用模型更新的方法来处理跟踪过程中目标外观的变化。MDNet(H.Nam andB.Han.Learning multi-domain convolutionalneural networks for visual tracking.Proceeding of the IEEE Conference onComputer Vision and Pattern Recognition.2016，pp.4293-4302.)将目标跟踪视为一个二分类任务，并且使用一个轻量级的网络进行多域学习。在此基础上，VITAL(Y.B.Song，C.Ma，X.H.Wu，L.J.Gong，L.C.Bao，W.M.Zuo，C.H.Shen，R.W.H.Lau，M.H.Yang.VITAL:Visualtracking via adversarial learning.Proceeding of the IEEE Conference onComputer Vision and Pattern Recognition.2018，pp.8990-8999.)将对抗学习的思想整合到跟踪网络框架中，该网络通过生成掩码来学习一系列目标外观中的鲁棒特征。Meta-Tracker(E.Park and A.C.Berg.Meta-tracker:fast and robust online adaptationfor visual object trackers.Proceeding of the European Conference on ComputerVision.2018，pp.587-604.)发现大多数在线学习的性能受到初始化的限制，因此将元学习方法引入到跟踪框架中，以使模型得到有效的初始化。同样，MAML-Tracker(G.Wang，C.Luo，X.Sun，Z.Xiong，and W.Zeng.Tracking by instance detection:A meta-learningapproach.Proceeding of the IEEE Conference on Computer Vision and PatternRecognition.2020，pp.6287-6296.)引入与模型无关的元学习方法，能够更好地学习模型的初始权重。由于在跟踪过程中对目标外观模型的迭代训练和更新，因此上述具有代表性的基于在线学习的跟踪器在判别性能方面显示出巨大的优势。但是，它们中的大多数离实时跟踪还有较大的距离，且很容易引入噪声。