[发明专利]基于孪生网络和中心逻辑损失的无人机对地目标跟踪方法

说明书

本发明公开了一种基于孪生网络和中心逻辑损失的无人机对地目标跟踪方法，以解决现有目标跟踪技术中网络参数多、计算量大以及正负训练样本不均衡等问题，属于计算机图像处理技术领域。该方法包括：利用第一特征提取网络提取已知目标位置的第一帧图像的目标特征图，利用第二特征提取网络提取第二帧图像的搜索特征图；根据所述目标特征图、搜索特征图计算第二帧图像的搜索区域与第一帧图像的目标区域之间的互相关性，得到第二帧图像的得分响应图，进而根据第二帧图像的得分响应图得到第二帧图像的目标位置；其中，所述第一特征提取网络、第二特征提取网络为孪生卷积网络的两个分支，且分别由轻量级卷积神经网络构成。

技术领域

本发明属于计算机图像处理技术领域，尤其是涉及一种基于孪生网络和中心逻辑损失的无人机对地目标跟踪方法。

背景技术

基于深度学习的视觉跟踪算法，例如图1所示的基于全卷积孪生网络的视觉跟踪算法，已被广大开发人员和用户接受和认可。

该方法将第一帧提取的模板图像和每一帧提取出的搜索图像分别输入两个子网络提取高层语义特征，然后对高层语义特征进行互相关从而得到模板图像在搜索图像中每个位置的相似度。通常，两个子网络中的参数是共享的，可以利用训练数据离线学习得到。高级语义特征具有和目标类别相关的丰富语义特性，所以对由遮挡、畸变等造成的目标外观变化具有很强的鲁棒性，并且网络在追踪的过程中不需要更新，大大减少了算法的计算量，保证了算法的实时性。网络有两个输入：目标模板图像和搜索区域图像，两个输入通过共享参数的孪生神经网络的孪生子网进行特征提取。

然而，此类方法主要面向通用的视觉跟踪任务，而无法满足计算和存储资源受限的无人机硬件平台。首先，卷积神经网络中存在大量的权值参数，保存大量权值参数对设备的内存要求很高。其次，无人机等嵌入式硬件平台的计算资源有限，因而难以实现卷积神经网络中高效、实时的卷积计算。

同时，在实际跟踪的过程中，此类实现方式需要在搜索区域的每个位置上对目标进行密集检测。对于无人机航拍图像，搜索区域中一般包含很多的简单背景中的负样本(如图2中的区域3)、少数的困难负样本(如图2中的区域1) 以及包含前景目标的正样本(如图2中的区域2)，而大量的简单背景负样本会导致训练样本不均衡，并主导网络的训练，从而导致模型退化。

发明内容

本发明旨在针对无人机硬件平台的特点，提供一种基于孪生网络和中心逻辑损失的无人机对地目标跟踪方法，以解决现有目标跟踪技术中网络参数多、计算量大以及正负训练样本不均衡等问题。

根据本发明的第一方面，一种无人机对地目标视觉跟踪模型的训练方法，所述跟踪模型为孪生卷积网络，该孪生卷积网络的两个分支分别为第一特征提取网络、第二特征提取网络，该训练方法包括：

获取视频序列数据集，该数据集包括成对的模板图像和搜索图像；

利用第一特征提取网络提取模板图像的目标特征图，利用第二特征提取网络提取搜索图像的搜索特征图；

根据所述目标特征图、搜索特征图计算搜索图像的搜索区域与模板图像的目标区域之间的互相关性，得到搜索图像的得分响应图；

根据中心逻辑损失函数计算所述得分响应图与真实值的差异，得到差异结果；以及

对所述差异结果进行反向传播，以调整所述孪生神经网络中各层的权重；

其中，所述第一特征提取网络、第二特征提取网络分别由轻量级卷积神经网络构成。

可选地，所述轻量级卷积神经网络为MobileNetV2模型。

可选地，所述中心逻辑损失函数为：