[发明专利]一种基于常识和记忆网络的长期目标运动跟踪方法

说明书

本发明提出了一种基于常识和记忆网络的长期目标运动跟踪方法，用以解决现有跟踪方法不能有效适应不确定运动场景下的目标跟踪问题。其步骤为：首先利用跟踪器在局部搜索窗内预测目标位置，然后利用单层记忆网络判断预测结果的可靠性。若可靠则进行下一帧的跟踪，否则利用常识信息和针对跟踪任务开发的语义目标感知特征从全局图片中生成少量高质量的包含目标真实运动状态的建议，再通过记忆网络选择最佳的候选建议作为预测结果。最后，利用可靠的跟踪结果对记忆网络进行微调以保持目标的外观记忆。本发明的单层记忆网络结构简单、运算量小；且本发明将记忆网络和语义目标感知建议相结合能够适应突变运动等目标跟踪问题，实现长期跟踪。

技术领域

本发明涉及计算机视觉跟踪技术领域，特别是指一种基于常识和记忆网络的长期目标运动跟踪方法。

背景技术

视觉目标跟踪作为计算机视觉领域的重要研究方向，一直是热门的研究问题，其目标是给出某一时刻目标的边界框，使得跟踪器在后续时间里准确的预测出目标状态(包括位置和大小)。然而由于现实世界中存在着许多挑战，如目标的运动突变、出视野外后再现等等，使得跟踪器出现漂移并最终跟踪失败。早期的跟踪算法通过手工特征构建目标外观模型进行目标跟踪，后来由于深度特征的引入，大大提高了视觉目标跟踪的精度，但同时增加了计算负担，降低了跟踪器的速度。近几年来，全卷积式的Siamese网络被用于跟踪，通过大量数据的离线训练学习先验的相似性函数。在保证跟踪精度的同时有提高了跟踪器的速度。

然后，传统的基于Siamese网络的跟踪器仍存在着几个明显的问题：(1)由于没有在线模板更新，使得跟踪器不能有效的适应目标外观剧烈变化条件下的跟踪任务。(2)由于大多数跟踪器是在一个局部搜索窗口内进行，当目标跳出局部搜索窗口时会导致跟踪失败。(3)由于缺乏有效的跟踪判断和跟踪故障检测后的再恢复机制，使得跟踪失败一旦发生便不可恢复。因此，对于这些问题的有效解决仍然有待进一步的研究。

发明内容

针对上述背景技术中存在的不足，本发明提出了一种基于常识和记忆网络的长期目标运动跟踪方法，解决了现有基于Siamese网络跟踪器易发生跟踪失败的技术问题，能够有效的进行目标跟踪，提高了跟踪器的鲁棒性。

本发明的技术方案是这样实现的：

一种基于常识和记忆网络的长期目标运动跟踪方法，其步骤如下：

步骤一：利用人工标注的方式标注出视频序列中的第一帧图像的目标图像块并利用VGG16深度网络提取目标图像块的深度特征；

步骤二：初始化单层记忆网络，利用目标图像块的深度特征对单层记忆网络进行训练获得初始卷积滤波器w；

步骤三：在第一帧图像中选取一个比目标图像块大的图像块X'，且图像块X'与目标图像块的中心重合，并利用VGG16深度网络提取的图像块X'的深度特征对单层记忆网络进行训练获得卷积滤波器w'，根据卷积滤波器w'获得目标图像的通道重要性参数；

步骤四：在当前帧图像中截取一个比目标图像块大的搜索图像块且搜索图像块与上一帧图像的目标图像的中心重合，计算搜索图像块与目标图像块的响应图，根据响应图中的最大响应值对应的当前帧图像的图像块作为基本跟踪器的预测结果；

步骤五：将基本跟踪器的预测结果输入步骤二中训练后的单层记忆网络中，输出第一次预测结果的响应矩阵，判断第一次预测结果的响应矩阵中响应值的最大值是否大于阈值β，若是，将基本跟踪器的预测结果作为当前帧的跟踪结果，并利用第一次预测结果对步骤二中的单层记忆网络进行训练更新初始卷积滤波器w，返回步骤四进行下一帧图像的跟踪,否则，执行步骤六；

步骤六：根据常识信息和步骤二中的通道重要性参数获得当前帧图像的语义目标感知特征图像集；