[发明专利]基于深度学习和多尺度相关滤波的鲁棒目标跟踪方法

说明书

本发明涉及一种基于深度学习和多尺度相关滤波的鲁棒目标跟踪方法，将跟踪过程分成了目标定位和尺度选择两部分，第一部分目标定位，利用卷积神经网络和相关滤波进行目标的位置定位；第二部分尺度选择，利用一个尺度金字塔，通过尺度滤波对目标进行不同尺度的匹配选择。选用卷积神经网络里的多层特征作为目标的表示模型，从而能够鲁棒地描述目标的结构和语义信息；利用相关滤波的特性，不再需要在线训练分类器，从而极大加快了算法的运行速度；在尺度上采用了尺度金字塔的思想，对不同尺度的目标进行相关滤波匹配，选取最优尺度，对于目标的形变、遮挡、尺度变化具有很强的鲁棒性。

技术领域

本发明属于图像处理领域，具体涉及一种基于深度学习和多尺度相关滤波的鲁棒目标跟踪方法。

背景技术

目标跟踪算法，通常可以分为生成型和判别型两大类。生成型的跟踪算法通常需要对被跟踪目标生成一个外观模型，通过对外观模型的匹配，寻找到相似度最高的那个候选目标作为跟踪结果。而判别型的跟踪算法则是将跟踪看成一个二分分类问题，通过正负样本训练一个分类器，将目标和背景区分开来。

近年来，基于深度学习的图像处理和机器视觉方法得到了极大的重视，特别在语音图像分类和识别方面应用成果较多，但在目标跟踪方面才刚刚起步。文献“Hierarchicalconvolutional features for visual tracking,2015International Conference onComputer Vision”公开了一种基于深度卷积神经网络(Convolutional Neural Network,CNN)的视觉目标跟踪方法，其利用CNN训练得到的图像特征具有丰富的语义信息，对于遮挡、形变、光照等跟踪难题具有很强的鲁棒性，取得了较好的跟踪效果。然而，现存的基于深度学习的跟踪方法一般都是在目标周围提取正负样本，通过CNN得到这些正负样本的特征，利用这些特征在线训练一个分类器，从而进行目标跟踪。

发明内容

要解决的技术问题

本发明解决了现有技术中的以下两个问题：1)现有技术只利用CNN中的最后一层结果来表示目标，但跟踪任务不仅需要目标的语义信息，还需要空间结构信息，才能准确地定位目标；2)现有技术在线训练一个分类器需要大量的正负样本，这对于目标跟踪而言非常耗时。

技术方案

针对目前基于深度学习的跟踪方法的弊端，本发明在进行目标跟踪时采用以下相应的解决措施来进行目标定位：1)采用CNN中的多层而不仅仅是最后一层的输出结果来构建目标的表示模型，从而保留了目标的空间结构信息；2)在每一层结果上学习自适应的相关滤波，从而避免了提取大量样本的过程。

本发明将跟踪过程分成了目标定位和尺度选择两部分，第一部分目标定位，利用卷积神经网络和相关滤波进行目标的位置定位；第二部分尺度选择，利用一个尺度金字塔，通过尺度滤波对目标进行不同尺度的匹配选择。

一种基于深度学习和多尺度相关滤波的鲁棒目标跟踪方法，其特征在于步骤如下：

步骤1：读取第一帧图像数据以及目标块在第一帧图像中的位置信息[x,y,w,h]，其中x,y表示目标中心的横纵坐标，w,h表示目标的宽和高；

步骤2：以(x,y)为中心提取搜索区域R，利用卷积神经网络CNN提取搜索区域R的卷积特征图，通过双边插值的方法对特征图进行上采样到搜索区域R得到卷积特征图所述的R的宽和高分别为M,N，所述的大小为M×N×D，D为通道数，l为CNN中的层数；

步骤3：采用分层的方式构建目标模型对于每一层的目标模型，其构建方法如下：