[发明专利]融合目标显著性和在线学习干扰因子的航拍目标跟踪方法

说明书

本发明公开了一种融合目标显著性和在线学习干扰因子的航拍目标跟踪方法，是根据反向传播梯度从预先训练的卷积网络选择最有效的特征通道来生成航拍智能感知特征，在凸显航拍目标特性的同时，大大减少了通道特征量来加快跟踪速度；并充分利用连续视频丰富的上下文信息，引导目标外观模型与当前帧尽可能相似地来在线学习动态目标的干扰因子，从而可以抑制航拍显著性变化所带来的影响，进而实现可靠的自适应匹配跟踪。本发明能缩小预训练的分类深度模型与特定航拍场景的目标跟踪之间的差距，并提高模型的在线适应能力，从而满足航拍视频的实时跟踪需求。

技术领域

本发明属于计算机视觉技术领域，具体涉及一种基于孪生网络的融合显著性和干扰在线学习的航拍目标跟踪方法。

背景技术

随着无人机和计算机视觉的快速发展，基于无人机的智能目标跟踪系统在目标监控、军事反恐侦察等各个领域均有广泛应用。航拍视频具有信息量大，背景复杂，视场不确定，跟踪目标小等特点，而现有目标跟踪算法没有完全针对这些特点进行设计和优化，所以在航拍视频中实现鲁棒且实时的跟踪仍然是一个巨大的挑战。

现有主流的目标跟踪算法都是基于深度学习的，它们主要分为两类：第一类使用用于目标识别任务预先训练的深度模型来提取特征，将目标跟踪问题转化为分类问题。一般视觉识别任务和特定目标跟踪在卷积神经网络提取的特征的有效程度是不同的。第一，预先训练的CNN特征对目标的语义信息和客观信息是不可知的。第二，预先训练的CNN偏向于增加类间目标的差异，提取的深层特征对不同类内目标并不敏感。第三，对于跟踪任务，在较深的卷积网络中仅有几个卷积滤波器在描述目标时是有效的，大部分卷积滤波器包含的都是冗余和无关信息。当使用所有的卷积滤波器来提取特征时，会导致高的计算负载。第二种成熟策略是基于匹配的跟踪策略，将候选样本与目标模板匹配，不需要在线更新。这种跟踪算法最显著的优点是其实时性。通过学习一个通用的匹配函数，以保持实时响应能力。最近成功的模型有全卷积孪生网络跟踪算法，虽然它不仅实现了不错的跟踪精度还满足了实时性，但是其缺乏一个有效的在线更新模型去捕捉航拍场景下目标、背景或成像条件的时间变化。对于单目标跟踪任务来说，目标的外观模型是重要的参考标准，其特征的辨别性尤其重要，丰富的目标姿势变化以及不同程度的背景干扰等跟踪难点都对提取具有辨别力的目标外观模型提出了更高的要求，如何获得更有辨别力的目标模板特征成为跟踪成功的关键。

发明内容

本发明为克服上述现有技术中存在的问题，提出了一种融合目标显著性和在线学习干扰因子的航拍目标跟踪方法，以期能缩小预训练的分类深度模型与特定航拍场景的目标跟踪之间的差距，并提高模型的在线适应能力，从而满足航拍视频的实时跟踪需求。

本发明为解决技术问题采用如下技术方案：

本发明一种融合目标显著性和在线学习干扰因子的航拍目标跟踪方法的特点是按如下步骤进行：

步骤1、对全卷积孪生网络进行通用特征的预训练；

步骤1.1、获取带有标签的航拍数据集，所述航拍数据集包含多个视频序列，每个视频序列包含多帧，选取一个视频序列并作为当前视频序列中抽取任意第i帧图像与相邻T帧图像之内的任意一帧图像组成一个样本对，从而将所述当前视频序列中随机抽取的图像组成若干个样本对，进而构成训练数据集；

步骤1.2、将所述训练数据集的每个样本对中的一帧图像作为模板图像，另一帧图像作为搜索图像；

步骤1.3、采用高斯分布随机初始化全卷积孪生网络的参数后，将每个样本对输入初始化后的全卷积孪生网络中进行训练，得到训练好的最佳跟踪模型；

步骤1.3.1、第i个样本对经过全卷积孪生网络后生成响应图υ[u_i]，u_i表示响应图υ[u_i]中的第i个位置，响应图υ[u_i]中第i个位置对应的真实标签记为y[u_i]；