[发明专利]一种基于时间和空间网络的深度集成目标跟踪算法

说明书

本发明公开了一种基于时间和空间网络的深度集成目标跟踪算法，利用VGG‑16网络提取深度特征并得到特征映射图，构建由相关滤波网络、时间网络以及空间网络构成的深度网络，将特征映射图送入由相关滤波网络、时间网络以及空间网络连接成的深度网络中，同时训练模型，直到收敛为止，以前一帧预测的目标位置为中心在当前帧的图片中提取搜索块，用VGG‑16网络提取搜索块的特征送入与之对应训练好的模型中来生成响应映射，利用自适应权重的集成学习算法融合所有弱跟踪器得到最终的目标位置，采用尺度估计算法对目标大小进行预测，利用当前帧的搜索块和预测值组成训练对，输入到模型中进行在线更新。可以进一步提高算法的精确度。

技术领域

本发明图像处理和计算机视觉领域，尤其一种基于时间和空间网络的深度集成目标跟踪算法。

背景技术

视觉目标跟踪是计算机视觉领域中的一项基本问题，可广泛应用于车辆导航、视频监控、人机交互等许多实际系统中。该问题的核心是如何利用极其有限的训练数据(通常是第一帧中的边界框)来开发出一个鲁棒的外观模型。在过去几十年里视觉目标跟踪技术取得了长足的进步，主要有基于相关滤波的跟踪算法和基于深度学习的跟踪算法。

基于视觉识别任务，深度学习模型需要大量标记的训练样本，而在目标跟踪问题中，唯一标记的样本只有第一帧标注的目标位置，所以直接将深度学习模型应用于在线跟踪算法是不可行的。以往基于深度学习的跟踪算法通过大量标记视频，离线学习通用特征表示。例如，Nam等人(Nam H，Han B.Learning multi-domain convolutional neuralnetworks for visual tracking[C]//Computer Vision and Pattem Recognition(CVPR)，2016IEEE Conference on.IEEE，2016：4293-4302.)提出MDNet跟踪算法，该算法利用类似于跟踪基准中的视频序列来离线学习深度模型，并使用目标基准测试序列对离线学习的模型进行在线微调，这种方法不仅容易产生过拟合，而且离线训练耗时过长。此外在视觉识别算法中使用神经网络作为在线分类器，通过最后一个卷积层的输出来表示目标。由于最后一层的特征有较高的语义信息，容易推断出物体的类别，所以使用最后一层的特征对于视觉识别任务是非常有效的。但是对于目标跟踪任务，仅仅使用最后一层的特征来表示目标是不够的，因为它还需要对目标进行精准定位。

发明内容

本发明所要解决的技术问题是针对上述现有技术的不足，提供一种基于时间和空间网络的深度集成目标跟踪算法。

为实现上述技术目的，本发明采取的技术方案为：

一种基于时间和空间网络的深度集成目标跟踪算法，包括以下步骤：

S1：利用VGG-16网络提取深度特征并得到特征映射图；

S2：构建由相关滤波网络、时间网络以及空间网络构成的深度网络；

S3：将特征映射图送入由相关滤波网络、时间网络以及空间网络连接成的深度网络中，同时训练模型，直到收敛为止；

S4：以前一帧预测的目标位置为中心在当前帧的图片中提取搜索块p1，以前一帧预测的目标位置为中心在前一帧的图片中提取搜索块p2，用VGG-16网络提取搜索块p1和搜索块p2的特征送入与之对应训练好的模型中来生成响应映射，每个模型视为弱跟踪器，利用自适应权重的集成学习算法融合所有弱跟踪器得到最终的目标位置，采用尺度估计算法对目标大小进行预测；

S5：利用搜索块p1、搜索块p2和预测值组成训练对，输入到模型中进行在线更新；

为优化上述技术方案，采取的具体措施还包括：

上述的步骤S1具体为：

S11：VGGNet网络构筑16～19层深的卷积神经网络；