[发明专利]无锚点孪生网络角点生成的目标跟踪方法及装置

说明书

本发明提供了一种无锚点孪生网络角点生成的目标跟踪方法及装置，其中，目标跟踪方法，包括：获取待目标跟踪训练视频帧，构建用于对训练集组进行训练的孪生网络，孪生网络中包括：第一残差神经网络、第二残差神经网络、特征融合网络、角点位置估计网络及角点位置误差估计网络；以训练集组中的目标模板图像和目标搜索区域图像作为输入、预先设定的对角点位置预测损失函数进行反向传播对构建的孪生网络进行训练，调整网络参数至该损失函数收敛完成对孪生网络的训练，根据训练好的孪生网络进行目标跟踪。其将孪生网络与角点生成结合在一起，避免了使用预置的锚点，减少了热图的输出数量，即降低了网络的参数数量，加快了跟踪算法的速度。

技术领域

本发明涉及图像处理技术领域，尤其涉及一种无锚点孪生网络角点生成的目标跟踪方法及装置。

背景技术

目标跟踪根据视频第一帧中需要跟踪的目标对象，一般来说通过跟踪方法的连续推理在后续视频帧中确定目标所在的区域。在《High Performance Visual Tracking withSiamese Region Proposal Network》论文中提出使用两个孪生卷积网络分别确定目标的中心位置和位移。该方法使用参数共享的卷积神经网络分别从首帧目标模板图像区域和后续视频帧中目标搜索区域图像区域中提取深度特征。其中，首帧目标模板图像区域深度特征通过两个卷积模块的卷积产生2k个通道的模板特征和4k个通道的模板特征(k表示特征图上每个位置的锚点数，一般取值为5)；目标搜索区域图像区域通过两个卷积模块分别生成用于前背景分类和目标空间位置偏移量估计的深度特征。在特征提取完成后，将2k个通道的模板特征与目标搜索区域深度特征用于前背景分类的特征进行卷积，生成2k个通道的分类图；同时4k个通道模板深度特征与目标搜索区域深度特征卷积，生成用于估计目标空间位置偏移量4k个通道的偏移量图。该方法对于目标模板图像区域的预测采用了锚点框预测，在2k通道的分类图上选取值最大的锚点框中心位置作为目标候选区域，在此基础上进一步估计目标的高度和宽度。

在锚点框的设置上，每个坐标点上不同长宽比和尺度的锚点数量一共是k 个，以此作为目标区域可能长宽比和尺度的估计。反映在2k通道的分类图上，其中k个奇数通道反映了各坐标点不同锚点框为目标特征区域的似然度。从这k 个奇数通道的分类图上选取具有最高分类值作候选目标模板图像区域的坐标点，随后在4k个通道的偏移量图上找对应坐标点上的长宽和坐标偏移值，以此计算目标的位置和长宽。

虽然上述参数共享的卷积神经网络能够一定程度上实现目的，但是基于该孪生网络的目标跟踪方法受到以下三个方面问题的限制：

1)目标空间位置估计的准确性和速度很大程度上依赖于锚点的设置，该方法需要为每个坐标点预先定义了一组固定长宽比和尺度的锚点框，但是其作为目标可能长宽比和尺度的预测并不一定准确。

2)由于目标往往位于视频帧中一个面积有限的局部区域，而该方法在各坐标点都设置锚点，大量的锚点实际上与目标无关，并不能对目标模板图像区域的预测起到作用，密集的锚点会浪费大量的计算资源去对锚点进行分类和空间偏移量进行预测。

3)该类方法通常将跟踪问题拆分为目标与背景分类和偏移量估计两个子问题来解决。目标与背景分类是在分辨率较低的特征图上估计目标中心位置，偏移量估计给出的是高分辨率的偏移量，两者在分辨率上的差异很容易导致最终目标位置产生误差。

发明内容

针对上述问题，本发明提供了一种无锚点孪生网络角点生成的目标跟踪方法及装置，有效解决现有目标跟踪方法精确度不高的技术问题。

本发明提供的技术方案如下：

一种无锚点孪生网络角点生成的目标跟踪方法，包括：

获取待目标跟踪训练视频帧，在包含同一待跟踪目标的两帧图像中，采用第一预设大小的目标框在第一帧图像中框选出包含跟踪目标的目标模板图像，在第二帧图像中，以第一帧图像中目标框的中心点坐标为基准框选出第二预设大小的目标搜索区域图像形成训练集组，所述第二预设大小大于第一预设大小；