[发明专利]一种基于卷积神经网络在线学习的单目标跟踪方法和系统

权利要求书

1.一种基于卷积神经网络在线学习的单目标跟踪方法，其特征在于，包括：

步骤一，通用表达模型训练：利用跟踪数据集对目标检测领域的卷积神经网络深度模型进行迁移学习，得到适用于跟踪领域的通用卷积神经网络深度模型，能直接在后续的跟踪任务中使用；

步骤二，网络初始化：在跟踪任务开始时，对步骤一得到的所述适用于跟踪领域的通用卷积神经网络深度模型进行初始化；

步骤三，在线跟踪：基于步骤二的所述适用于跟踪领域的通用卷积神经网络深度模型，采用在线跟踪的方法，对视频序列进行逐帧处理；

步骤四，模型更新：根据步骤三的跟踪结果，对所述适用于跟踪领域的通用卷积神经网络深度模型进行在线更新，采用短期更新和长期更新结合的方法更新卷积神经网络参数。

2.根据权利要求1所述的基于卷积神经网络在线学习的单目标跟踪方法，其特征在于，步骤一中，所述利用跟踪数据集对目标检测领域的卷积神经网络深度模型进行迁移学习，是指：采用迁移学习的方法，以在ImageNet上预训练的目标检测领域的卷积神经网络深度模型作为基础模型，利用跟踪数据集对该基础模型进行进一步的训练，使其表达空间更适用于跟踪任务。

3.根据权利要求1所述的基于卷积神经网络在线学习的单目标跟踪方法，其特征在于，步骤一中，所述适用于跟踪领域的通用卷积神经网络深度模型为一个二分类的网络结构，其含有3个卷积层以及3个全连接层；在卷积层中，卷积核的大小依次为7x7、5x5和3x3，每个卷积层之后都加入一个核为2x2的池化层对网络进行降维；前两个全连接层的维数均为512，并且对其使用随机缺失以防止网络过拟合，最后一个全连接层充当二分类的分类器。

4.根据权利要求1所述的基于卷积神经网络在线学习的单目标跟踪方法，其特征在于，所述步骤二，具体为：在跟踪任务开始时，对于一个新的跟踪序列，为其随机初始化一个新的输出层，同时保持步骤一中训练得到卷积神经网络的所有卷积层参数不变；为了使卷积神经网络适用于这一跟踪序列，在最开始利用第一帧中的指定目标对卷积神经网络进行微调，即利用第一帧中的目标对网络进行训练。

5.根据权利要求4所述的基于卷积神经网络在线学习的单目标跟踪方法，其特征在于，所述步骤二，所述网络初始化，是以初始化跟踪目标为中心，利用高斯分布产生一系列的训练样本，将其中与目标交叠区域大于第一阈值的视为正样本，同时将与目标交叠区域小于第二阈值的视为负样本进行训练，将网络迭代L次，从而得到一个适用于初始化跟踪目标的通用卷积神经网络深度模型用于后续的跟踪，其中第一阈值大于第二阈值，L为自然数。

6.根据权利要求5所述的基于卷积神经网络在线学习的单目标跟踪方法，其特征在于，所述网络初始化，具有以下任一个或任几个特征：

所述第一阈值，取值为0.7；

所述第二阈值，取值为0.5；

所述L，取值为50。

7.根据权利要求5所述的基于卷积神经网络在线学习的单目标跟踪方法，其特征在于，所述步骤三，具体为：根据前一帧的跟踪结果，以前一帧跟踪结果为中心，利用高斯分布产生一系列候选目标区域，利用步骤二初始化后的适用于跟踪目标的卷积神经网络深度模型对这些候选区域进行评估，其中分数最高的即为当前帧的跟踪目标。

8.根据权利要求1所述的基于卷积神经网络在线学习的单目标跟踪方法，其特征在于，所述步骤四，具体为：在跟踪过程中，所有跟踪得分大于设定阈值a的帧被视为成功帧，并被用来选取所述适用于跟踪领域的通用卷积神经网络深度模型更新的训练样本，利用最新的K个成功帧来对所述适用于跟踪领域的通用卷积神经网络深度模型进行短期更新，而利用最新的M个成功帧对所述适用于跟踪领域的通用卷积神经网络深度模型进行长期更新以保证模型的稳定性，其中K、M为自然数且M大于K。

9.根据权利要求8所述的基于卷积神经网络在线学习的单目标跟踪方法，其特征在于，所述模型更新，具有以下任一个或任几个特征：

所述设定阈值，取值为0.5；

所述K，取值为5；

所述M，取值为60。

10.一种基于上述权利要求1-9任一项所述方法的基于卷积神经网络的单目标跟踪系统，其特征在于包括：

通用表达模型训练模块，该模块利用跟踪数据集对目标检测领域的卷积神经网络深度模型进行迁移学习，得到适用于跟踪领域的通用卷积神经网络深度模型，并能直接在后续的跟踪任务中使用；

网络初始化模块，该模块在跟踪任务开始时，对所述通用表达模型训练模块得到的所述适用于跟踪领域的通用卷积神经网络深度模型进行初始化；

在线跟踪模块，该模块基于所述适用于跟踪领域的通用卷积神经网络深度模型，采用在线跟踪的方法，对视频序列进行逐帧处理；

模型更新模块，对所述适用于跟踪领域的通用卷积神经网络深度模型进行在线更新，采用短期更新和长期更新结合的方法更新卷积神经网络参数。