[发明专利]一种基于三重孪生哈希网络学习的目标跟踪方法

摘要

本发明公开了一种基于三重孪生哈希网络学习的目标跟踪方法，涉及计算机视觉、目标跟踪及深度学习技术领域。该方法首先构建了一个三重孪生哈希网络，该网络由数据输入层、卷积特征提取层、哈希编码层三部分构成。在网络初始训练过程中，使用训练数据集和随机梯度下降反向传播算法对三重孪生哈希网络进行训练，训练完成后网络即可获得目标定位的初始能力。跟踪过程中则首先将输入图像通过三重孪生区域推荐网络得到相应的候选框，再将候选框输入三重孪生哈希网络进行正向处理，分别计算每个候选框与查询样本的相似度，选择最高相似度的候选框作为跟踪目标对象，从而实现目标跟踪。

主权项

1.一种基于三重孪生哈希网络学习的目标跟踪方法，包括如下步骤：步骤一、目标选取从初始图像中选择并确定要跟踪的目标对象，目标选取过程通过运动目标检测方法自动提取或者人机交互方法手动指定；步骤二、训练数据集生成首先，选取大型分类识别视频数据集，数据集的所有图像均标记对应的目标对象位置坐标信息；然后，通过已知标签制作训练数据集，每一组训练数据集有三组图像对，分别是正样本、查询样本和困难负样本，这三组样本图像对均来源于同一个目标序列；选取其中1000组图像序列，将图像序列中标注框内的部分作为查询样本，并归一化为127×127像素，同时在每一张查询样本周围按相同大小随机选取样本，具体选取规则是与查询样本交并比IOU大于0.8作为正样本，小于0.6但大于0.3作为困难负样本，分别生成100张正样本和100张困难负样本，最终生成600000组训练数据集；步骤三、三重孪生哈希网络构建与初始化三重孪生哈希网络由数据输入层、卷积特征提取层、哈希编码层三部分构成，卷积特征提取层采用Alexnet网络结构，即5层卷积层和2层全连接层，并采用第7层全连接层的1024个神经元节点作为特征表达；哈希编码层则使这1024个神经元节点，其集合表示为u_n，经过sgn函数，得到哈希码集合b_n＝sgn(u_n)，各值为b_i∈{+1,‑1}，该网络损失函数设置为三重似然损失函数，定义为其中，M为训练数据集的组数，这里设定M＝600000，θ_ij表示哈希码b_i和b_j之间的内积，表示为q,p,h分别表示查询样本，正样本，困难负样本，α为设定偏值，这里设定α＝10，λ是正则化参数项，用来平衡三重似然损失函数，设定λ＝80，能够加速训练过程，并防止反向传播过程中梯度消失，N为1024个神经元节点；构建完三重孪生哈希网络后，则用生成的训练数据集开始进行网络训练，训练时反向传播采用经典的随机梯度下降法，最终网络将输出与查询样本最大相似度的目标对象，获得对目标对象定位的初始能力；步骤四、图像输入在实时处理情况下，提取通过摄像头采集并保存在存储区的视频图像，作为要进行跟踪的输入图像；在离线处理情况下，将已釆集的视频文件分解为多个帧组成的图像序列，按照时间顺序，逐个提取帧图像作为输入图像，如果输入图像为空，则整个流程中止；步骤五、候选区域的生成三重孪生哈希网络训练完毕后，选取跟踪图像序列的第一帧标注框内的图像作为待跟踪目标对象，尺寸归一化127×127像素，然后依次输入后续帧，尺寸为255×255像素，将每一帧都经过三重孪生区域推荐网络，其包含卷积特征提取层、相关滤波结构两部分，其中卷积特征提取层直接采用三重孪生哈希网络层中的卷积特征提取结构，并权值共享，将得到两种卷积特征，尺寸大小分别是22×22像素×128通道和6×6像素×128通道；相关滤波结构则将提取的卷积特征进行互相关操作，其具体操作是将22×22像素×128通道卷积特征与6×6像素×128通道卷积，得到17×17像素的响应热图，然后在较高响应相对应的输入图像帧周围，按照与样本0.8、1、1.2倍的尺寸大小，分别得到132个目标候选框与132个困难负样本候选框；步骤六、目标定位将步骤五中生成的所有候选框经过训练好的三重孪生哈希网络中进行前向传播，最终输出每个候选框与查询样本的相似度值，选取最大相似度值的候选框作为目标跟踪结果，目标定位完成；步骤七、网络在线更新根据步骤六得到的目标跟踪位置，再根据步骤二所述的过程，在目标位置周围生成100张正样本和100张困难负样本并连同当前目标对象构成一组训练数据，进行一次网络训练，实现对网络的微调更新，然后跳转到步骤四。