[发明专利]基于多分类器的目标跟踪方法、设备和存储介质

说明书

本发明公开了一种基于多分类器的目标跟踪方法、设备和存储介质，其中目标跟踪方法包括：1、建立第一特征提取网络和第二特征提取网络并进行预训练；2、构建离线训练样本集、离线分类器，离线giou预测器，并进行离线训练；3、构建在线分类器、根据视频第一帧图像生成待跟踪目标模板tg_t和在线训练样本集，对在线分类器进行训练；4、根据离线分类器和在线分类器对当前视频帧进行粗定位；5、利用离线giou预测器判断是否要更新搜索区域；6、利用离线giou预测器对当前视频帧进行精确定位；7、持续对视频后续帧中的目标进行跟踪，直到跟踪结束。该方法通过结合泛化性强的离线分类器和针对性强的在线分类器，能够得到跟踪精度高的跟踪效果。

技术领域

本发明属于视频信号处理技术领域，具体涉及一种对视频中目标进行跟踪的方法、设备以及存储介质。

背景技术

单目标跟踪任务在安防系统中具有较高的实际应用价值，因此其在计算机视觉领域受到了广泛的关注。单目标跟踪任务是在给定视频第一帧图像中设定跟踪目标，追踪和定位视频后续帧中该目标的位置。其主要难点是先验知识少，跟踪的目标仅由第一帧图像中矩形框决定。目标的高速运动，较大的形变等都会给单目标识别任务带来挑战。随着深度学习技术的发展，深度学习任务被成功的运用到了单目标跟踪任务中并取得较好的精度。目前实现单目标跟踪的深度学习算法可以分为三步：1.选定当前帧的固定大小的搜索区域：在上一帧图像中预测的目标中心作为搜索区域中心，将目标面积四倍大小的区域作为当前帧的搜索区域；2.通过目标分类任务确定搜索区域中目标的大致位置：对搜索区域每个位置进行二分类，判断每个位置是否为目标，将是目标的得分最大的位置作为目标的粗略位置。3.利用目标回归对目标大致位置进行回归，得到目标的精确位置：利用图像对训练交并比(iou)预测网络，该网络可以学习衡量模版图像的目标(给定的第一帧目标)与搜索区域的候选目标位置相似度，预测出搜索区域中候选位置的iou。因此可以通过这个网络优化候选位置从而获得iou值最大的候选位置。

虽然上述步骤的方法取得了较好的结果。但是仍存在以下问题和不足：1.不同的物体有不同的运动速率，对于不同的运动目标，在相邻两帧中目标位置变化的幅度也不尽相同。固定搜索区域的尺寸虽然可以适用于大部分的物体，但是对于位置变化较大的目标，目标可能出现在搜索区域外的其他图像区域中，从而出现无法定位目标的情况。2.目标分类中使用的分类器分为两种，分别是可以离线训练的离线分类器和跟踪测试时训练的在线分类器。离线分类器通过使用大量的离线训练数据学习到分类的先验知识，具有较高的泛化性。但是由于追踪的物体未知，因此离线分类器针对性较弱。并且目前的离线分类器尺度单一，无法利用多尺度的特征解决目标尺度变化的问题。而在线分类可以针对追踪视频第一帧的目标学习到符合该目标的分类器，其针对性更强。但是为了保持跟踪速率，在线分类器仅使用少量的追踪视频中的进行少数迭代来迭代更新在线分类器，泛化性较弱。目前大部分的方法都是仅选择一种分类器，而无法解决单一类型分类器带来的问题。

发明内容

发明目的：本发明旨在提供一种目标跟踪方法、设备和存储介质，其中目标跟踪方法通过结合泛化性强的离线分类器和针对性强的在线分类器，能够得到跟踪精度高的跟踪效果。

技术方案：本发明公开了一种基于多分类器的目标跟踪方法，包括如下步骤：

(1)建立第一特征提取网络和第二特征提取网络，所述第一特征提取网络和第二特征提取网络均为基于CNN的特征提取网络；对第一特征提取网络和第二特征提取网络进行预训练；

(2)构建离线训练样本集、离线分类器，离线giou预测器；

所述离线训练样本集中的样本为示例目标图像、示例目标裁剪图像、包含所述示例目标的原始图像构成的图像组合；所述原始图像中示例目标处于中心位置，且原始图像的面积是示例目标面积的4倍；所述示例目标裁剪图像为示例目标图像裁剪背景后的图像；

所述离线分类器用于计算待跟踪目标在搜索区域上不同位置处的离线相似度得分图；