[发明专利]无锚点孪生网络角点生成的目标跟踪方法及装置

权利要求书

1.一种无锚点孪生网络角点生成的目标跟踪方法，其特征在于，包括：

获取待目标跟踪训练视频帧，在包含同一待跟踪目标的两帧图像中，采用第一预设大小的目标框在第一帧图像中框选出包含跟踪目标的目标模板图像，在第二帧图像中，以第一帧图像中目标框的中心点坐标为基准框选出第二预设大小的目标搜索区域图像形成训练集组，所述第二预设大小大于第一预设大小；

构建用于对训练集组进行训练的孪生网络，所述孪生网络中包括：用于针对输入的目标模板图像进行特征提取的第一残差神经网络、用于针对输入的目标搜索区域图像进行特征提取的第二残差神经网络、用于对所述第一残差神经网络和第二残差神经网络输出的特征进行融合的特征融合网络、用于针对所述特征融合网络输出的互相关图估计得到角点位置热图的角点位置估计网络及用于针对所述特征融合网络输出的互相关图估计得到角点位置误差热图的角点位置误差估计网络；

以训练集组中的目标模板图像和目标搜索区域图像作为输入、预先设定的对角点位置预测损失函数进行反向传播对构建的孪生网络进行训练，调整网络参数至该损失函数收敛完成对孪生网络的训练；

获取目标跟踪视频，并于所述目标跟踪视频的首帧图像中指定第一预设大小的目标跟踪框作为目标模板图像，于需要跟踪目标的当前帧图像中以上一帧图像的目标框中心点坐标为基准框选第二预设大小的目标搜索区域图像，并将目标模板图像和目标搜索区域图像分别输入训练好的孪生网络中，得到角点位置估计网络和角点位置误差估计网络输出的角点位置估计热图与角点误差估计热图，进而得到跟踪目标于当前帧图像中的目标框。

2.如权利要求1所述的目标跟踪方法，其特征在于，

在构建的所述孪生网络中：

第一残差神经网络和第二残差神经网络均为残差神经网络ResNet-50，且两个残差神经网络的第4卷积块和第5卷积块中均采用空洞卷积；

特征融合网络中以目标模板图像的特征图作为卷积核，与目标搜索区域图像的特征图作卷积计算，获得互相关图作为后续角点位置估计网络和角点位置误差估计网络的输入；所述特征图包括残差神经网络ResNet-50第3卷积块、第4卷积块和第5卷积块输出的特征图；

角点位置估计网络对特征融合网络输出的互相关图提取特征得到2个角点位置估计热图，作为目标框的左上角位置和右下角位置；

角点位置误差估计网络对特征融合网络输出的互相关图提取特征得到2个角点误差估计热图，作为目标框的左上角点的位置和右下角点的位置。

3.如权利要求1或2所述的目标跟踪方法，其特征在于，在得到角点位置估计网络和角点位置误差估计网络输出的角点位置估计热图与角点误差估计热图之后，还包括对角点位置估计热图设置软标签y_i,j的步骤：

其中，(i,j)表示当前点坐标距离真实目标框中心坐标的偏移量，σ表示预设距离阈值。

4.如权利要求1或2所述的目标跟踪方法，其特征在于，在角点位置误差估计网络中，根据角点位置热图上的点位置与当前帧图像中相应位置坐标对角点误差o进行估计：

其中，(x,y)表示当前帧图像上点的坐标，表示当前帧图像上的点映射到角点位置热图上的坐标，s表示当前帧图像分辨率与角点位置热图分辨率的比例。

5.如权利要求1或2所述的目标跟踪方法，其特征在于，所述预先设定的对角点位置预测损失函数L为：

L＝L_det+L_off

L_det表示角点位置热图上角点位置估计的损失：

其中，H、W表示角点位置热图的高度和宽度，p_ij表示神经网络在角点位置热图上点位置(i,j)上的预测值，y_ij为相应的软标签值，

L_off表示角点位置估计热图上角点位置误差估计的损失：

其中，Smooth_L1(·,·)表示平滑L1损失函数，o_tl和分别表示左上角点位置真实误差和神经网络估计的位置误差，o_br和表示右下角位置真实误差和神经网络估计的位置误差。