[发明专利]基于交并比估计的空间注意力强化学习跟踪方法

说明书

本发明公开了一种基于交并比估计的空间注意力强化学习跟踪方法，本发明提出在深度强化学习跟踪算法的基础上，利用交并比估计深度网络模块实现对目标物体的边框估计；提出引入物体分割深度网络来实现可变形空间注意力，相比经典基于颜色特征的空间注意力生方法更加精确；在注意力生成方法中，本发明提出利用物体分割结合一定先验知识的思想来生成目标物体的空间注意力。本发明对所提出基于交并比估计的空间注意力强化学习跟踪算法进行了实现，并且在OTB2013、OTB50、OTB100、UAV123和VOT2019这五个数据集上进行了验证。在这五个数据集上大量的实验表明，在跟踪精度上，本发明所提出的算法达到了先进水平。

技术领域

本发明属于本发明属于计算机视觉技术领域，具体涉及数字图像的目标跟踪技术领域中的基于交并比估计的空间注意力强化学习跟踪方法。

背景技术

近年来，深度学习和强化学习被广泛应用在计算机视觉任务中，其中深度学习所提供的强大的特征表达能力为数字图像处理及模式识别任务奠定了重要基础，在此基础之上，研究者们提出了多种不同的深度网络架构来适应不同的计算机视觉任务。D.Danelljan等人[1]研究了卷积网络特征对目标跟踪任务的影响，他们发现第一层的激活具有比其他更深层更好的跟踪性能。B.Luca等人[2]提出了孪生网络的跟踪方法，作者将目标跟踪理解为一种在线匹配问题，跟踪的实质即为将目标模板图像在搜索图像中进行滑动匹配，具有最高相似度的图像块即为当前帧中的目标，为实现这样的思想，作者提出利用两个具有相同结构、相同参数的深度卷积网络分别对目标模板图像和搜索图像提取特征，然后采用互相关(Cross-correlation)实现高效的滑动窗口匹配.H.Nam等人[3]提出了一种多域训练的深度网络(Multi-domain convolutional neural networks，MDNet)模型，作者通过多域网络来解决面向跟踪任务的网络训练时所遇到的目标物体和背景物体的类别混淆问题，相比孪生网络，作者采用更新的VGG[4]深度网络作为特征提取的骨干网络并取得了良好的效果。为了在深度网络训练的过程更好地调整网络初始参数，E.Park等人[5]利用元学习(Meta-learning)[6]思想，通过两次梯度计算加快模型收敛速度。J.Choi等人[7]从另一个角度来应用元学习思想，在提出的跟踪算法中，作者通过元学习快速捕获目标物体的外观特信息以实现特征融合，将最具有判别性的特征保留下来，从而提升跟踪质量.Z.Zhu等人[8]受到深度光流网络(FlowNet)[9]的启发，提出利用深度光流捕获目标物体的运动特征。S.Pu等人[10]提出了一种基于互学习思想的跟踪算法，该算法通过网络反向传播的偏导数来计算图像特征的注意力图，并将其作为正则项来迭代训练深度网络.。S.Dong等人[11]提出了一种三元损失(Triple loss)的跟踪算法，作者在所提出的跟踪算法中通过三元损失以实现更多样本的训练，从而提供更优质的图像表示。为解决多域网络跟踪算法的实时性较弱的问题，Y.Li等人[12]提出了一种对图像进行相似变换以进行匹配的方法以解决物体的角度变化问题，所提出的跟踪算法可以更好地估计物体的矩形边框。为了进一步深度学习跟踪器的判别能力，G.Bhat等人[13]提出了一种模型预测方法来估计更加准确的目标物体外观模型，从而提升跟踪器的判别性能.Y.Wang等人[14]提出了一种基于数据增强的方法来补充训练数据，并且利用散列矩阵(Hash matrix)来降低深度图像特征的维度。N.Wang等人[15]利用跟踪场景下的前后一致性，并采用多帧综合验证，提出了一种无监督的深度学习跟踪算法。