[发明专利]一种基于孪生网络融合多模板特征的视频目标跟踪方法

说明书

本发明涉及一种基于孪生网络融合多模板特征的视频目标跟踪方法，提出了一种半监督模板在线更新策略，当视频序列中待跟踪目标出现遮挡、形变和光照变化等复杂情况，通过计算APCE值和模板相似度评估目标变化和被遮挡情况，目标外观产生巨大变化时，利用上一帧图片提取的特征与原始模板特征进行特征融合，得到表达能力更强的新模板，有助于适应多种复杂情况；为提高模型的泛化能力，适应多类目标，训练过程中采用正则化技术防止模型过拟合；为进一步提升算法速度，对于非复杂情形只采用原始模板进行跟踪，大大降低了计算量，使本发明的方法在获得更好跟踪性能的条件下取得了较其他方法更快的运行速度。

技术领域

本发明涉及视频目标跟踪领域，具体的说是一种基于孪生网络融合多模 板特征的视频目标跟踪方法。

背景技术

视频目标跟踪技术是根据视频序列在第一帧给出的任意待跟踪物体边界 框信息，对后续帧中同一目标的边界框进行位置和尺度预测，被广泛应用于自 动驾驶、视频监控和人机交互等领域。传统的基于相关滤波的方法使用手工特 征建立滤波模板并在线更新，如方向梯度直方图(Histogram Of Oriented Gradient, HOG)、Haar-like特征和局部二值特征(Local Binary Pattern,LBP)等，其先给出 一系列候选框，然后将所有的候选框与滤波模板作相关运算，得到每个候选框 的置信度，置信度最高的候选框即为目标位置。近年来，随着计算机性能飞速 提升，深度学习技术快速发展，深度特征被应用到目标跟踪领域中，虽然在跟 踪精度上有所提升，但深度网络的反向传播过程计算量巨大，导致计算量剧增， 无法满足实时性要求。孪生网络的出现很好的平衡了跟踪精度和速度，基于孪 生网络(Siamese Network)的目标跟踪算法已成为视频目标跟踪领域的一个重 要研究方向。

孪生网络拥有模板和检测两个分支呈Y型结构，基于孪生网络的目标 跟踪方法将视频目标跟踪作为模板匹配问题来处理，先采用卷积神经网络提取 两个分支的深度特征，浅层特征主要集中在低层信息上，如颜色、形状等，对 定位至关重要；深层特征具有丰富的语义信息，对复杂情况有很强的鲁棒性， 比如运动模糊、巨大形变等，但高级别的特征图分辨率很低，丢失了有用的空 间细节。在目标跟踪的任务中只给出了第一帧的目标边界框信息，当目标发生 遮挡、光照变化、形变、尺度变化等情况时，第一帧提供的原始模板已经无法 满足后续帧的跟踪需求，所以适时的进行模板更新是必要的。而在当前基于孪 生网络的目标跟踪算法却没有模板更新过程，或者只是把模板进行简单的替换， 造成跟踪器不能很好的适应目标外观的变化。要想进一步提升模板的可靠性，

半监督学习(Semi-Supervised Learning，SSL)是模式识别和机器学习领域 研究的重点问题，是监督学习与无监督学习相结合的一种学习方法。半监督学 习使用大量的未标记数据，以及同时使用标记数据，来进行模式识别工作。当 使用半监督学习时，可以有效解决小样本问题，同时，又能够带来比较高的准 确性，因此，半监督学习正越来越受到人们的重视。

目前需要本领域技术人员迫切解决的一个技术问题是：在出现遮挡、形 变和光照变化等复杂情况下，如何快速且准确的对视频序列中出现的任意目标 进行跟踪，提高跟踪的准确性、快速性和鲁棒性。

发明内容

针对现有技术的缺陷，本发明提供一种基于孪生网络融合多模板特征的 视频目标跟踪方法(A Visual Tracking Algorithm Based on Siamese Network Fusion withMultiple Template Features，SiamFMT)，当视频序列中待跟踪目标出现遮挡、 形变和光照变化等复杂情况，目标外观产生巨大变化时，原始模板已经难以适 应当下情况，利用上一帧图片提取的特征作为弱模板与原始模板特征进行特征 融合，得到表达能力更强的新模板，有助于适应多种复杂情况；为进一步提升 算法速度，对于非复杂情形只采用原始模板进行跟踪，大大降低了计算量，使 本发明的方法在获得更好跟踪性能的条件下取得了较其他方法更快的运行速度。