[发明专利]一种基于孪生循环神经网络的目标跟踪方法及系统

说明书

本发明公开了一种基于孪生循环神经网络的目标跟踪方法及系统。其中，使用的目标跟踪模型包括孪生网络模块和循环神经网络模块，孪生网络模块包括上、下支路，孪生网络模块的下支路连接所述循环神经网络模块，所述方法包括获取跟踪目标视频帧；基于跟踪目标视频帧，训练孪生网络模块，所述训练包括使跟踪目标在对应的相关性响应特征图上的位置获得响应最大值；固定孪生网络模块参数，训练循环神经网络模块，使其具备预测跟踪目标下一帧位置及尺度的能力；联合训练孪生网络模块和循环神经网络模块，提高目标跟踪模型的目标跟踪准确性；所述目标跟踪模型，还包括判别模块，用于判别目标跟踪是否成功。本发明能够提高目标跟踪的准确性和鲁棒性。

技术领域

本发明涉及一种基于孪生循环神经网络的目标跟踪方法及系统，属于计算机视觉领域。

背景技术

目标跟踪在计算机视觉领域一直是研究难点和热点，其在众多领域有着广泛的前景，比如说无人驾驶、人机交互和安保监控等等。针对目标跟踪的研究已经发展了数十年，虽然已经取得了很多不错的成果，但是因为目标跟踪任务的多变性，获得一个既能够实时高效又鲁棒准确的跟踪器仍然存在很多挑战。

目标跟踪技术的发展方向主要分为两大类：相关滤波法和深度学习法。基于相关滤波的跟踪器速度快但准确性不高，基于深度学习的跟踪器准确性高但计算代价高、速度慢。随着硬件性能的提升及相关算法的进步，最近几年基于深度学习的目标跟踪发展迅速。为了获得高准确性，深度学习目标跟踪通常是以目标检测为基础，把目标跟踪任务抽象为一个二分类问题，训练分类器，只要能准确的区分前景(跟踪目标)和背景即可。另外一种方法则是借鉴了相关滤波的思想，采用孪生网络的框架结构，将神经网络提取的特征作为卷积核，对图像搜寻区域进行卷积操作，比较跟踪目标与待搜寻图像区域的相似性，相似性最高处即为目标所处位置。上述两类方法都是从外观模型出发，仅仅考虑的是跟踪目标的表观空间特征，但是目标跟踪是一个时序性的过程，在跟踪过程中，目标的时序信息也能发挥重要作用，因此如何充分有效地利用时序信息也应当被考虑。

发明内容

基于上述分析，本发明的目的在于：提供一种基于孪生循环神经网络的目标跟踪方法及系统，以克服常规循环神经网络容易发生梯度爆炸和消失的问题。

本发明实现上述目的的技术解决方案是：

一方面，本发明提供了一种基于孪生循环神经网络的目标跟踪方法，包括如下步骤：

获取待跟踪目标视频；

将获取的待跟踪目标视频输入预先训练好的目标跟踪模型，目标跟踪模型输出准确的目标跟踪位置；

所述目标跟踪模型包括孪生网络模块和循环神经网络模块，孪生网络模块包括上支路、下支路，下支路与循环神经网络模块连接，上支路和下支路均包括卷积神经网络；

其中，对待跟踪目标视频中第一帧图像构建目标区域，作为孪生网络模块上支路的输入，待跟踪目标视频中的后续帧图像作为孪生网络模块下支路的输入。

进一步地，所述目标跟踪模型的构建方法，包括：

上支路使用卷积神经网络提取目标区域图像的特征，获得目标区域特征图；

下支路使用卷积神经网络提取搜索区域图像的特征，获得搜索区域特征图；

下支路提取的特征经全连接层送入循环神经网络模块；

循环神经网络模块输出预测的跟踪目标位置及尺度，从而得到目标包围框；

将目标包围框映射到下支路获取的搜索区域特征图上，得到感兴趣目标区域；

将上支路获取的目标区域特征图作为卷积核，对映射有目标包围框的搜索区域特征图进行卷积操作，得到相关性响应特征图，相关性响应特征图中响应值最大的位置为目标跟踪位置。