[发明专利]一种基于孪生网络的目标跟踪方法

权利要求书

1.一种基于孪生网络的目标跟踪方法，其特征在于，包括如下步骤：

步骤1，使用ImageNetVID、GOT数据集生成训练集和验证集；

步骤2，使用步骤1生成的训练集和验证集训练网络N，所述网络N包括特征提取网络N₁、卷积核K₁、K₂、K₃以及全连接层C₁；

步骤3，读入即将跟踪的图像序列或者视频的第一帧F₁，并通过框选的方式指定所要跟踪的目标的位置L₁；

步骤4：记录跟踪目标在第一帧的位置L₁，并裁取视频的第一帧F₁中L₁位置的图像I₁，将其输入特征提取网络N₁，得到特征图M₁；

步骤5：读入图像序列或者视频的下一帧F₂，在上一帧的图像I₁中选择目标位置周围的图像X输入特征提取网络N₁，得到特征图M₂；

步骤6：将特征图M₁和特征图M₂分别使用卷积核K₁、K₂进行卷积，得到特征图M₃、M₄；

步骤7：将两张特征图M₃、M₄进行卷积操作，得到新的特征图M₅；

步骤8：在新的特征图M₅上用卷积核K₃进行卷积，得到更高抽象级别的特征图M₆；

步骤9：将最后的特征图M₆通过全连接层C₁，输出结果；

步骤10：根据步骤9的输出结果，在当前帧画出目标的位置；

步骤11：重复步骤4至步骤10，直至处理完成整个视频或者图片序列。

2.根据权利要求1所述的方法，其特征在于，步骤1包括如下步骤：

步骤1-1：在当前长度为p的视频或者图片序列中随机选择n帧F₁，F₂...F_n，F_n表示第n帧的视频或者图片；

步骤1-2，对于步骤1-1中挑选的每一帧F_i，i取值为1～n，随机选择k_m帧p＞k_j＞i；

步骤1-3，对于步骤1-2帧中的每一帧在当前帧附近随机范围内选取区域，作为要寻找的范围x，对应的F_i中目标所在区域作为要跟踪的目标template，template在x中的位置记做L；

步骤1-4：对两个数据集ImageNetVID、GOT分别执行步骤1-1到步骤1-3，数据集ImageNetVID中的图像执行完后得到的结果作为训练集，数据集GOT中的图像执行完后得到的结果作为验证集。

3.根据权利要求2所述的方法，其特征在于，步骤2包括如下步骤：

步骤2-1：将训练集中的数据划分为K个一组，每组训练数据包括要跟踪的目标template、要寻找的范围x以及目标位置L；

步骤2-2：将每一组数据对应的要跟踪的目标template和要寻找的范围x传入网络N中，计算得到网络输出O；

步骤2-3：计算输出O与目标位置的L1loss，L1loss表示预测值与真实值的绝对误差平均值，并通过反向传播算法更新网络N的参数，其中，每一组训练数据的L1loss计算公式为：

其中，1＜＝i＜＝K，1＜＝j＜＝4，L_ij表示第i个数据的目标位置，O_ij代表第i个数据对应的网络输出；

步骤2-4：循环2-1至2-3，直至训练集中的数据均训练完成。

4.根据权利要求3所述的方法，其特征在于，步骤4中，图像I₁是RGB三通道图片。