[发明专利]一种基于双掩膜模板更新的孪生网络目标跟踪方法及装置

说明书

本发明公开了一种基于双掩膜模板更新的孪生网络目标跟踪方法及装置，方法包括：将语义信息加权后的初始帧模板、双重信息加权后的当前帧跟踪结果和当前帧模板送入模板更新模块生成更新模板，并与语义信息加权后的初始帧模板相加生成下一帧跟踪模板来实现模板更新；模板更新在图像级别而不是特征级别，原始图像比特征图有更高的空间分辨率可以更多关注目标的细节。装置包括：第一生成模块、第二生成模块、获取模块、模板更新模块，及跟踪模块。本发明实现了对模板的更新，能够提供鲁棒的模板，提高跟踪器的性能。

技术领域

本发明涉及目标跟踪领域，尤其涉及一种基于双掩膜模板更新的孪生网络目标跟踪方法及装置。

背景技术

随着大数据和人工智能的发展，大量媒体信息被传播和利用，其中视频信息的数量增长迅速，成为人们获得外界信息的主流方式。目标跟踪作为计算机视觉的一个重要领域，是视频信息处理和分析的一项基础性技术。目前，目标跟踪在智能视频监控、无人驾驶、人机交互等领域得到了广泛的应用。在这些应用中，获得目标物体的运动轨迹并作出相应的分析，使得对视频内容的理解和分析提供了一种重要的方式。

目标跟踪是指对于视频序列中，由初始帧指定的目标物体，在后续视频帧中持续推断目标物体的状态。目标物体的状态通常是指目标物体的位置和大小，使用矩形框来表示。目标跟踪算法大致可以分为早期目标跟踪算法、基于相关滤波的目标跟踪算法、基于深度学习的目标跟踪算法。目前主流算法是基于深度学习的目标跟踪算法，其中又可以分为基于孪生网络的目标跟踪算法和其他深度学习算法。基于孪生网络的目标跟踪算法最早在2016年的SiamFC^[1]提出孪生网络的架构，使得跟踪器在速度和精确度上得到较好的平衡。近年来又不断的提出了性能更优的算法，如SiamRPN^[2]，SiamMask^[3]，Ocean^[4]等。其他深度学习类的算法，主要代表有MDNet^[5]，ATOM^[6]，DiMP^[7]等。

尽管目标跟踪领域在近些年来得到了快速的发展，但跟踪问题存在的挑战使得目标跟踪仍然是一项艰巨的任务。在跟踪的视频中，由于目标物体在不断的经历形变、遮挡、旋转、尺度变化和光照变换等，使得跟踪任务极具挑战性。如何以应对这些挑战是跟踪算法需要解决的问题。在跟踪的视频序列中，目标物体通常是由初始帧确定，使用初始帧生成的初始帧目标模板进行模板匹配是基于孪生网络的目标跟踪算法基本实现方式。仅使用初始帧目标模板的方式使得在目标经历较大形变的时候跟踪器容易丢失目标，因此对目标模板的更新是提升跟踪器性能的有效方法。现有模板更新的方法，如简单使用上一帧跟踪结果生成的目标模板进行模板匹配，由于跟踪结果不能自检，容易造成跟踪漂移。

发明内容

本发明提供了一种基于双掩膜模板更新的孪生网络目标跟踪方法及装置，本发明利用语义信息加权后的初始帧模板、双重信息加权后的当前帧跟踪结果以及当前帧模板送入一个模板更新模块，并将此模块生成的模板与语义信息加权后的初始帧模板相加生成下一帧模板，本发明利用了多阶段训练策略来实现对模板更新模块的训练，本发明实现了对模板的更新，能够提供鲁棒的模板，提高跟踪器的性能，详见下文描述：

第一方面，一种基于双掩膜模板更新的孪生网络目标跟踪方法，所述方法包括：

在框架基础上，将初始帧模板、当前帧跟踪结果送入实例分割掩膜生成模块分别生成语义信息加权后的初始帧模板和语义信息加权后的当前帧跟踪结果；

将当前帧跟踪结果与有一定间隔的前面帧跟踪结果送入光流掩膜生成模块生成运动信息加权后的当前帧跟踪结果；

将两种不同信息加权后的当前帧跟踪结果相加得到双重信息加权后的当前帧跟踪结果；

将语义信息加权后的初始帧模板、双重信息加权后的当前帧跟踪结果和当前帧模板送入模板更新模块生成更新模板，并与语义信息加权后的初始帧模板相加生成下一帧跟踪模板来实现模板更新；