[发明专利]一种基于DIOU损失与平滑约束的SSVM跟踪方法

说明书

本发明公开了一种基于DIOU损失与平滑约束的SSVM跟踪方法。该方法为：建立基于DIOU损失与平滑约束的结构化SVM模型，根据拉格朗日乘子法，将DIOU损失与平滑约束的结构化SVM模型转化为对偶问题；采用对偶坐标下降原理求解基于DIOU损失与平滑约束的结构化SVM模型，估计目标的状态；采用多尺度目标跟踪方法评估跟踪目标的位置，选取拥有最大响应的结构化输出作为跟踪结果。本发明克服了损失函数不精确和模型漂移问题，有效提高了基于结构化SVM目标跟踪算法的准确度和成功率。

技术领域

本发明涉及计算机视觉目标跟踪技术领域，特别是一种基于DIOU损失与平滑约束的SSVM跟踪方法。

背景技术

目标跟踪是计算机视觉领域中的重要研究内容，其目标是利用图像序列估计目标的状态。目标跟踪在视频监控、车辆导航、人机交互、智能交通等民用领域，以及视觉制导、目标定位和火力控制等军事领域均有重要的应用前景。近年来，虽然目标跟踪取得了较大发展，但是其仍然面临复杂背景、光照变化和目标遮挡等诸多挑战性难题，因此目标跟踪一直是计算机视觉领域中的热点问题。

目标跟踪分为产生式跟踪和判别式跟踪两类。产生式跟踪中代表性方法有IVT跟踪[Ross D A,Lim J,Lin R S,et al.Incremental Learning for Robust VisualTracking[J]. International Journal ofComputerVision,2008,77(1-3):125-141.]、L1跟踪[Mei X,Ling H. Robust visual tracking using L1 minimization[A].Proceedings of IEEE Conference on ComputerVision[C].Kyoto,Japan:IEEEComputer Society Press,2009,1436-1443.]和相关滤波跟踪[孙航,李晶,杜博,肖雅夫,胡云玲.基于多阶段学习的相关滤波目标跟踪[J].电子学报,2017,45(10):2337-2342.]等。判别式跟踪中代表性的方法有MIL跟踪[Babenko B,Yang M H,Belongie S.Robustobject tracking with online multiple instance learning[J].IEEE Transactionson PatternAnalysis and Machine Intelligence,2011,33(8):1619-1632.]、TLD 跟踪[Kalal Z,Mikolajczyk K,Matas J.Tracking-learning-detection[J].IEEETransactions on PatternAnalysis andMachine Intelligence,2012,34(7):1409-1422.]、随机森林跟踪[SaffariA, Leistner C,Santner J,Godec M,Bischof H.Onlinerandom forests[A].Proceedings of the IEEE Conference on Computer Vision[C].Kyoto,Japan:IEEE Computer Society Press, 2009,1393-1400.]、SVM跟踪[Hare S,Saffari A,Torr P H S.Struck:structured output tracking with kernels[A].Proceedings of IEEE International Conference on Computer Vision[C].Barcelona,Spain:IEEE Computer Society Press,2011,263-270.]和深度跟踪[Wang N,Yeung D Y.Learning a Deep Compact Image Representation for Visual Tracking[A]. Proceedings of Neural Information Processing Systems[C].CurranAssociates:IEEE Computer Society Press,2013,809-817.李康,邵芳.基于卷积神经网络的鲁棒高精度目标跟踪算法[J].电子学报,2018,46(9):2087-2093.]等，其中基于SVM的目标跟踪由于其优异的性能而受到了广泛关注。2004年，Avidan首次提出基于SVM的目标跟踪方法[S. Avidan.Support vector tracking[J].IEEE Transactions on PatternAnalysis and Machine Intelligence,2004,26(8):1064–1072.]，取得了较好效果。受到结构化SVM在目标检测中应用的启发，2011年，Hare等人在ICCV上首次提出基于结构化SVM的目标跟踪方法 Struck[Hare S,Saffari A,Torr P H S.Struck:structured outputtracking with kernels[A]. Proceedings of IEEE International Conference onComputer Vision:Barcelona,Spain:IEEE Computer Society Press,2011,263-270.]，2015年该文的扩展[Hare S,Saffari A,Torr PH S. Struck:structured outputtracking with kernels[J].IEEE Transactions on PatternAnalysis and MachineIntelligence,2016,38(10):2096-2109.]发表在顶级国际期刊模式分析与机器智能(PAMI)上。Struck把目标跟踪看作结构化输出问题，避免了传统判别式跟踪的中间分类环节，显著提高了目标跟踪的性能。为了适应目标的变化同时又不丢失目标的时间上下文信息，Yao等人[Yao R,Shi Q,Shen C,et al.Robust Tracking with Weighted OnlineStructured Learning[A].Proceedings of the European conference on ComputerVision[C].Berlin Heidelberg:Springer,2012,Part III:158-172.]于2012年提出一种加权在线结构化SVM跟踪方法，进一步提升了结构化SVM跟踪的性能。为了提高遮挡与形变目标的跟踪性能，2013年，Yao等人[Yao R,Shi Q,Shen C,et al.Part-based VisualTracking with Online Latent Structural Learning[A].Proceedings of ComputerVision and Pattern Recognition[C].Portland,OR,USA:IEEE Computer SocietyPress,2013,2363-2370] 又以在线算法pegasos为基础，提出一种在线结构化SVM用于目标跟踪。为了解决目标跟踪中存在的模型漂移问题，2012年Bai和Tang[BaiY,Tang M.RobustTracking via Weakly Supervised Ranking SVM[A].Proceedings of IEEE Conferenceon Computer Vision and Pattern Recognition[C].Providence,RI,USA:IEEE ComputerSociety Press,2012, 1854-1861.]提出一种在线拉普拉斯排序SVM跟踪。同样是为了应对模型漂移问题， Zhang等人[J.Zhang,S.Ma,and S.Sclaroff.Meem:Robust tracking viamultiple experts using entropy minimization[A].Proceedings of EuropeanConference on Computer Vision[C].Zurich,Switzerland:IEEE Computer SocietyPress,2014,188-203.]于2014年提出了MEEM跟踪，该方法以在线SVM作为基础跟踪建立专家组跟踪目标，取得了较好的跟踪效果。2015年Hong等人[Hong S,You T,Kwak S,etal.Online Tracking by Learning Discriminative Saliency Map with ConvolutionalNeural Network[A].Proceedings of International Conference on Machine Learning[C].Lille,France:IEEE Computer Society Press,2015,597-606.]提出利用在线SVM指导反向传播特定目标的CNN特征到输入层，进而建立特定目标的显著图跟踪目标，该方法建立的显著图保持了目标的空间结构，从而增强了目标跟踪的鲁棒性。2016年Ning等人[NingJ F,Yang J M,Jiang S J,et al.Object tracking via dual linear structured SVMand explicit feature map[A].Proceedings of IEEE Conference on Computer Visionand Pattern Recognition[C].Las Vegas:IEEE Computer Society Press,2016,4266-4274.]基于对偶坐标下降原理提出一种对偶线性结构化SVM目标跟踪方法，该方法在保证目标跟踪鲁棒性的同时又提高了目标跟踪的速度。同样是为了提高目标的速度，2017年Wang等人[Wang,Mengmeng,Liu,Yong,Huang,Zeyi.Large Margin Object Tracking withCirculant Feature Maps[A].Proceedings ofIEEE Conference on Computer Visionand Pattern Recognition[C].Honolulu,HI,USA:IEEE Computer Society Press,2017,4800-4808.]利用相关滤波对基于结构化SVM的目标跟踪进行了加速提出了 LMCF跟踪方法。2018年Ji等人[Ji Z,Feng K,Qian Y.Part-based Visual Tracking via StructuralSupport Correlation Filter[J].Computing Research Repository,2018,1805-09971.]采用了与LMCF跟踪类似的思想来加速基于目标部件的结构化SVM跟踪，其目的也是提高目标跟踪的速度。为了进一步提升基于SVM的目标跟踪的性能，2019年Zuo等人 [Zuo W,Wu X,Lin L,et al.Learning Support Correlation Filters for Visual Tracking[J]. IEEETransactions on Pattern Analysis and Machine Intelligence,2019,41(5):1158-1172.]提出一种基于离散傅里叶变换的交替优化方法求解相关滤波器，并设计了多通道支撑相关滤波器跟踪目标，进一步提升了基于SVM的目标跟踪的性能。