[发明专利]基于孪生网络和动作选择机制的目标跟踪方法及系统

说明书

本发明公开了一种基于孪生网络和动作选择机制的目标跟踪方法。该方法以孪生网络为框架，首先利用大量外部视频数据训练网络权重；训练完成后，在任意一段视频中，指定任一跟踪目标的情况下采集候选区域，输入到该孪生网络，将得到的候选区域的特征中根据动作选择机制选择与跟踪目标最相似的特征后，以矩形框的方式将其映射回原图的位置，作为当前帧的跟踪结果，最终得到的矩形框可以是任意长宽比和尺寸。本发明还提出了基于孪生网络和动作选择机制的目标跟踪系统，与传统的方法相比，本发明利用训练好的孪生网络，结合不同层的输出，能够通过匹配目标不同层次的特征，使得对目标的外观变化有更强的鲁棒性，同时本发明具有实时性、精度高等优点。

技术领域

本发明涉及一种目标跟踪方法及系统，属于图像处理、计算机视觉、深度学习技术领域。

背景技术

目标跟踪通常指单目标跟踪，其任务是在一段视频中的某一帧中指定一个被跟踪的目标，在之后帧中推断出该目标的位置。目标跟踪是计算机视觉的经典问题之一，在安防监控、无人驾驶、人机交互等方面有很大的应用场景。跟踪的难点在于，我们掌握的被跟踪目标的信息过少，当目标外观发生变化，或者受到光照、遮挡、运动模糊等因素的干扰时，很容易丢失目标。

传统的目标跟踪方法鲁棒性不高，对目标外观变化的适应性也不够强。基于深度学习的目标跟踪方法在很多方面弥补了传统方法上的不足，它能够在语义层面对目标进行描述，从而对目标的外观变化具有很强的鲁棒性。经典的基于深度学习的方法在目标跟踪领域表现较好的包括MDNet、SINT、SiamFC等，但它们通常不能在精确描述目标位置和跟踪速度上达到很好的权衡，在目标发生形变时不能有效地推断出其准确的位置，从而影响了跟踪的准确度。

发明内容

本发明所要解决的技术问题是：为了克服现有技术的缺点和不足，本发明提供了一种新的孪生网络结构，在此基础上执行针对特征的动作选择机制，从而使得目标的位置更加准确。

为解决以上技术问题，本发明采用的技术方案为：

本发明首先提出一种基于孪生网络和动作选择机制的目标跟踪方法，该方法包括以下步骤：

1)、数据预处理步骤：从一段视频中随机选择包含同一个目标的两帧图像，对这两帧图像，分别裁剪出目标和以目标为中心进行裁剪；

2)、基于孪生网络构建匹配函数，包括如下子步骤：

2.1)、设计孪生网络的网络结构；

2.2)、构建训练样本，从训练集中随机抽取成对的图片，作为孪生网络两个分支的输入；

2.3)、设计误差函数进行反向传播，优化网络的参数，直至收敛；

3)、在视频中进行目标跟踪：基于训练好的孪生网络，将要跟踪的目标区域裁剪出来输入进孪生网络的一支，另一支输入当前帧的候选区域，通过动作选择机制采集候选样本，比较后得到目标在当前帧的位置。

进一步的，本发明所提出的方法中，数据预处理步骤具体如下：

在训练集的每一段视频中，按照不同间隔两两配对，每对图片中，一张图片按照标记的目标框裁剪图像，作为目标图像z，另一张图片以标记的目标框为中心，裁剪出两倍大小的图像作为搜索区域图像x。

进一步的，本发明所提出的方法中，在步骤2.1)所述设计孪生网络的网络结构，具体为：

1)、基于VGG19网络，去掉所有全连接层和最后两个池化层。

2)、在conv3层后添加1×1的卷积层，用来将通道数调整到与conv5层的输出相同。将二者输出的平均值作为输出的卷积特征。将这种从输入图片得到其卷积特征的映射关系定义为f。

3)、在网络最后添加Roi池化层。