[发明专利]一种基于卷积神经网络在线学习的单目标跟踪方法和系统

说明书

技术领域

本发明涉及图像处理技术领域，具体地，涉及一种基于卷积神经网络在线学习的单目标跟踪方法和系统。

背景技术

单目标跟踪技术是指初试给定任意待跟踪目标，在视频序列中识别和定位给定目标的技术。单目标跟踪技术一直是计算机视觉领域的研究热点，其能广泛的应用在视频监控，无人驾驶和人机交互等多个领域，在节省大量人力物力的同时，带来巨大的经济效益。而由于实际跟踪环境的复杂性，精确有效的目标跟踪尤为重要。因此单目标跟踪具有重要的研究意义与应用价值。

在实际应用中，由于目标和背景会发生多种不同的变化，如目标遮挡、形变、模糊、尺度变化、光照变化以及背景杂乱等，单目标跟踪往往会遇到诸多难题。在单目标跟踪中，如何有效的提取目标特征及表达目标特征十分重要。以往的很多单目标跟踪算法，在目标特征提取和表达这一模块基本采用人工特征，如HoG特征及颜色特征等，这些人为定义的特征在特定情况下能够解决目标和背景变化产生的难题，但是不能很好的适应实际应用场景中的多种变化。由于计算机运算能力的大幅增强，近几年卷积神经网络技术得以在图像处理领域得到广泛应用，并取得了很好的成果。卷积神经网络通过大量学习，自动提取的深度特征避免了一些人工特征的局限性，表达能力更强。而如何将卷积神经网络利用到单目标跟踪领域，对目标进行精确有效的跟踪，是一大技术难点，也是本发明着重解决的问题。

经对现有的技术文献检索发现，Seunghoon Hong等人在论文“Online Tracking by Learning Discriminative Saliency Map with Convolutional Neural Network”(“基于卷积神经网络的显著性图谱学习的在线跟踪”)中提出一种利用卷积神经网络提取目标深度特征并利用SVM(支持向量机)进行分类学习的方法。该方法成功的将卷积神经网络应用到了单目标跟踪领域，但是由于其未能解决目标分类识别与目标跟踪之间的差别(其卷积神经网络是用于目标分类领域)，效果不是十分突出。Yuankai Qi等人在论文“Hedged Deep Tracking”(“层级化深度跟踪”)中提出一种利用卷积神经网络不同层输出的深度特征进行集成学习以提高跟踪的准确度的方法，但是该方法仍然没有很好的解决深度模型在目标分类识别与目标跟踪之间的转换问题。

发明内容

针对现有技术中的缺陷，本发明的目的是提供一种基于卷积神经网络的单目标跟踪方法和系统，能很好的解决深度模型在目标分类识别与目标跟踪之间的转换问题。

本发明的第一目的是提供一种基于卷积神经网络在线学习的单目标跟踪方法，包括如下步骤：

步骤一，通用表达模型训练：利用跟踪数据集对目标检测领域的卷积神经网络深度模型进行迁移学习，得到适用于跟踪领域的通用卷积神经网络深度模型，能直接在后续的跟踪任务中使用；

步骤二，网络初始化：在跟踪任务开始时，对步骤一得到的所述适用于跟踪领域的通用卷积神经网络深度模型进行初始化；

步骤三，在线跟踪：基于步骤二的所述适用于跟踪领域的通用卷积神经网络深度模型，采用在线跟踪的方法，对视频序列进行逐帧处理；

步骤四，模型更新：根据步骤三的跟踪结果，对所述适用于跟踪领域的通用卷积神经网络深度模型进行在线更新，采用短期更新和长期更新结合的方法更新卷积神经网络参数。

优选地，步骤一中，所述利用跟踪数据集对目标检测领域的卷积神经网络深度模型进行迁移学习，是指：采用迁移学习的方法，以在ImageNet上预训练的目标检测领域的卷积神经网络深度模型作为基础模型，利用跟踪数据集对该基础模型进行进一步的训练，使其表达空间更适用于跟踪任务。

优选地，所述适用于跟踪领域的通用卷积神经网络深度模型为一个二分类的网络结构，其含有3个卷积层以及3个全连接层；在卷积层中，卷积核的大小依次为7x7、5x5和3x3，每个卷积层之后都加入一个核为2x2的池化层对网络进行降维。前两个全连接层的维数均为512，并且对其使用dropout(随机缺失)以防止网络过拟合，最后一个全连接层充当二分类的分类器。

优选地，所述步骤二，具体为：在跟踪任务开始时，对于一个新的跟踪序列，为其随机初始化一个新的输出层，同时保持步骤一中训练得到卷积神经网络的所有卷积层参数不变；为了使卷积神经网络适用于这一跟踪序列，在最开始利用第一帧中的指定目标对卷积神经网络进行微调，即利用第一帧中的目标对网络进行训练。