[发明专利]一种基于深度学习的无人机视频目标跟踪方法

权利要求书

1.一种基于深度学习的无人机视频目标跟踪方法，包括S1、S2、S3和S4四个步骤，其特征在于：首先设计一个新的深度神经网络结构，通过离线学习得到一个可以很好表示物体特征的深度神经网络结构。然后进行在线跟踪，首先对相邻两帧通过特征点，来得到两帧之间的运动模型，然后用离线学习得到的深度神经网络结构，来提取目标特征，接着通过粒子滤波的框架找到当前帧的目标，最后进行在线更新。整个跟踪过程分为离线学习和在线跟踪两个部分，具体的步骤如下：先进行离线学习，我们选择视觉跟踪数据库里面的视频来进行学习。我们采用了新的深度神经网络的结构，除了传统的卷积层和全连接层，我们使用了局部连接层，而且我们的损失函数使用的是焦点损失，这样的设计，可以使我们的网络能够提取更加鲁棒的特征。接下来进行在线跟踪，分为以下几个步骤：S1、我们采用局部特征，对相邻两帧提取特征，然后通过随机匹配(ransac)算法对特征鲁棒的匹配，从而得到两帧之间的运动模型，对由于无人机平台造成的大范围移动进行补偿。S2、用学习的得到的深度神经网络对目标提取特征。S3、通过粒子滤波的跟踪框架，以生成式跟踪方法，对目标建模，然后根据重建误差最小的原则，找到最相似的目标。S4、对深度神经网络进行在线更新。本发明提出的深度神经网络特征具有良好的分类能力和对光照条件、姿态等的变化不太敏感能力，并且轻微的物理噪声和几何形变具有一定的鲁棒性。通过对相邻帧做运动补偿，在无人机有抖动，大范围移动的视频目标跟踪试验中取得了较高的准确率和成功率。

2.根据权利要求1所述的基于深度学习的无人机视频目标跟踪方法，其特征在于：所述的步骤离线学习中，我们设计的新的深度神经网。本发明的深度神经网络的结构如图1所示。输入的图片，经过第一层卷积网络，第二层卷积网络，第三层为局部连接层，第四层是全连接层，第五层也是全连接层，第六层就是连接各个类的训练视频，也是全连接层。在离线学习的时候，通过第六层连接不同的视频，从而对深度神经网络进行训练。

3.根据权利要求1所述的基于深度学习的无人机视频目标跟踪方法，其特征在于：所述的步骤离线学习中，我们使用了新的焦点损失函数。本发明中，将这个损失函数用到我们设计的深度神经网里面来，从而更好地实现跟踪算法。焦点损失函数定义如下，

Floss(p_t)＝-α_t(1-p_t)^γlog(p_t)，

其中p_t是一个概率，定义如下，

y代表样本标签。log(p_t)＝-CE(p_t)，其中CE代表交叉熵(cross entropy)，定义如下，

焦点损失函数有两个重要性质：当一个样本被分错的时候，

p_t是很小的，比如当y＝1时，p_t要小于0.5才是错分类，此时p_t就比较小，反之亦然，因此调制系数就趋于1，也就是说相比原来的损失是没有什么大的改变的。当p_t趋于1的时候(此时分类正确而且是易分类样本)，调制系数趋于0，也就是对于总的损失的贡献很小。当γ＝0的时候，焦点损失函数就是传统的交叉熵损失，当γ增加的时候，调制系数也会增加。焦点损失函数的两个性质算是核心，其实就是用一个合适的函数去度量难分类和易分类样本对总的损失的贡献。