[发明专利]基于孪生网络和动作选择机制的目标跟踪方法及系统

权利要求书

1.一种基于孪生网络和动作选择机制的目标跟踪方法，其特征在于，该方法包括以下步骤：

1)、数据预处理步骤：从一段视频中随机选择包含同一个目标的两帧图像，对这两帧图像，分别裁剪出目标和以目标为中心进行裁剪；

2)、基于孪生网络构建匹配函数，包括如下子步骤：

2.1)、设计孪生网络的网络结构；具体为：

201)、基于VGG19网络，去掉所有全连接层和最后两个池化层；

202)、在conv3层后添加1×1的卷积层，用来将通道数调整到与conv5层的输出相同，将二者输出的平均值作为输出的卷积特征，将这种从输入图片得到其卷积特征的映射关系定义为f；

203)、在网络最后添加Roi池化层；

2.2)、构建训练样本，从训练集中随机抽取成对的图片，作为孪生网络两个分支的输入；

2.3)、设计误差函数进行反向传播，优化网络的参数，直至收敛；

3)、在视频中进行目标跟踪：基于训练好的孪生网络，将要跟踪的目标区域裁剪出来输入进孪生网络的一支，另一支输入当前帧的候选区域，通过动作选择机制采集候选样本，比较后得到目标在当前帧的位置。

2.根据权利要求1所述的方法，其特征在于，数据预处理步骤具体如下：

在训练集的每一段视频中，按照不同间隔两两配对，每对图片中，一张图片按照标记的目标框裁剪图像，作为目标图像z，另一张图片以标记的目标框为中心，裁剪出两倍大小的图像作为搜索区域图像x。

3.根据权利要求1所述的方法，其特征在于，在步骤2.2)所述构建训练样本中，具体为：

首先，将一对图片中的目标图片z输入进孪生网络中的一路，在Roi层之前得到表示目标的卷积特征图f(z)；

其次，将一堆图片中的搜索区域片x输入进孪生网络中的另一路，在Roi层之前得到表示搜索区域的卷积特征图f(x)。

4.根据权利要求3所述的方法，其特征在于，在搜索区域的卷积特征图中，采集代表正例和反例的卷积特征。

5.根据权利要求4所述的方法，其特征在于，所述采集代表正例和反例的卷积特征，具体采集方法为：在搜索区域的卷积特征图的中心，采集与目标区域卷积特征图尺寸相同的区域作为参考，与其重合率超过0.7的视为正例，小于0.5的视为反例，正例和反例各采集64个。

6.根据权利要求4所述的方法，其特征在于，步骤2.3)所述设计误差函数进行反向传播，优化网络的参数，直至收敛，具体为：

使用Triplet Loss，将目标的卷积特征图、正例的卷积特征图和反例的卷积特征图作为一个三元组，然后使用随机梯度算法针对误差进行反向传播，优化网络参数，直至误差收敛；经过训练后使目标与正例之间的欧氏距离更近，与反例之间的欧氏距离更远，目标与样本间的欧氏距离为：

将要构建的匹配函数定义为g，则该函数g(z,x_i)反映候选样本与目标的相似程度，其中x_i是从搜索区域x中提取出的候选样本，z代表目标图像，构建出的匹配函数为：

g(z,x_i)＝d(f(z)f(x_i))

其中，f(x_i)为采集到的候选样本的卷积特征图。