[发明专利]基于匹配-回归网络的目标跟踪方法及训练方法

说明书

本发明公开了一种基于匹配‑回归网络的目标跟踪方法及训练方法，应用于图像处理技术领域，输入包括若干帧的目标待跟踪序列，对每一帧图像在目标搜索区域内进行目标跟踪；根据中心匹配网络输出目标中心位置，根据已确定的目标中心位置获取中心匹配网络最后一个卷积层输出的特征图，将所述特征图作为边界回归网络的输入；边界回归网络根据输入特征图，根据所述目标中心进行中心点发散，确定目标中心的边界位置，输出锚框的高度和宽度。本发明利用孪生网络确定目标中心位置，在边界回归网络中利用两层LSTM网络结合历史帧的时序特征信息，输出更精确的宽高比可变的锚框，提高视频序列中目标跟踪的准确性和鲁棒性。

技术领域

本发明涉及图像处理技术领域，尤其涉及一种基于匹配-回归网络的目标跟踪方法及训练方法。

背景技术

目标跟踪是计算机领域的一个重要问题，被广泛应用于自动驾驶，视频标注，姿态估计等任务中，极大地节省了计算资源。相比于其他的计算机问题，如人脸识别，目标检测，实例分割等，目标跟踪的难点在于跟踪目标的先验知识较少(仅有第一帧物体的外观图像特征)，无法通过一些离线的方法来有效的增强对任意物体的适应能力，是一项具有挑战性的任务。

卷积神经网络(Convolutional Neural Networks，CNN)应用于目标跟踪任务后，呈现出其强大的能力。CNN各层的卷积单元具有丰富的位置信息，使整体网络具有定位能力。基于CNN的孪生网络结构利用相似性学习将跟踪问题转化为模板匹配问题，取得了较好的跟踪效果。目前，基于孪生网络的跟踪算法存在的问题有：(1)跟踪目标的先验知识较少，仅有第一帧物体的外观图像特征；(2)基于孪生网络的跟踪算法中，将视频序列的第一帧作为模板，仅仅比较模板和当前检测帧的特定区域的特征，没有利用视频序列中帧与帧之间的时序信息；(3)获得目标的中心位置后，锚框的输出只是采用几个固定尺度来确定，对于目标形变适应能力较差。

发明内容

技术目的：针对现有技术中目标跟踪方法中目标跟踪的准确性较低且锚框大小输出较为固定的缺陷，本发明公开了一种基于匹配-回归网络的目标跟踪方法及训练方法，利用孪生网络确定目标中心位置，在边界回归网络中利用两层LSTM网络结合历史帧的信息，输出更精确的长宽比可变的锚框，提高视频序列中目标跟踪的准确性和鲁棒性。

技术方案：根据上述技术目的，本发明提供以下技术方案。

一种基于匹配-回归网络的目标跟踪方法，包括：

输入包括若干帧的目标待跟踪序列，对目标待跟踪序列中的每一帧图像计算目标搜索区域，在目标搜索区域内进行目标跟踪；

根据中心匹配网络确定目标中心位置：所述中心匹配网络为孪生网络，利用所述孪生网络对模板图像和搜索图像进行特征提取，所述搜索图像为限定目标搜索区域的目标待跟踪序列中所有帧图像；对模板图像和搜索图像的特征进行互相关模板匹配，输出特征响应图，所述特征响应图中最大响应点所对应的位置为目标中心位置；

根据已确定的目标中心位置获取中心匹配网络的最后一个卷积层输出的特征图，将所述特征图作为边界回归网络的输入；

根据边界回归网络确定包围目标的锚框大小：边界回归网络根据输入的特征图，利用所述目标中心进行目标中心点发散，确定目标中心的边界位置，输出锚框的高度和宽度。

优选地，所述目标搜索区域计算过程包括：

在目标待跟踪序列中，对第一帧图像进行初始化：包括对孪生网络的特征模板进行初始化和LSTM网络隐藏状态初始化；

利用单一尺度公式确定当前帧搜索区域：

其中，上一帧的搜索区域为(X、Y、W、H)，(X，Y)是上一帧中目标中心位置，W、H为上一帧中锚框的宽度和高度，W′、H′为当前帧中锚框的宽度和高度，C*C为当前帧的搜索区域大小；