[发明专利]一种基于三重孪生哈希网络学习的目标跟踪方法

说明书

本发明公开了一种基于三重孪生哈希网络学习的目标跟踪方法，涉及计算机视觉、目标跟踪及深度学习技术领域。该方法首先构建了一个三重孪生哈希网络，该网络由数据输入层、卷积特征提取层、哈希编码层三部分构成。在网络初始训练过程中，使用训练数据集和随机梯度下降反向传播算法对三重孪生哈希网络进行训练，训练完成后网络即可获得目标定位的初始能力。跟踪过程中则首先将输入图像通过三重孪生区域推荐网络得到相应的候选框，再将候选框输入三重孪生哈希网络进行正向处理，分别计算每个候选框与查询样本的相似度，选择最高相似度的候选框作为跟踪目标对象，从而实现目标跟踪。

技术领域

本发明涉及计算机视觉、目标跟踪及深度学习技术领域。

背景技术

目标跟踪是计算机视觉领域中一项非常热门的研究课题，其研究内容是根据给定的一段视频片段自动识别出随后视频序列中要跟踪的目标对象，获取目标连续的位置、外观和运动等信息。目标跟踪广泛应用于军事与民用的智能监控、人机交互、交通监控等领域，具有很强的实用价值。尽管这个研究课题已经被研究了几十年，但它仍是一项具有挑战性的课题。在现实情况下，目标对象容易受到各种因素的干扰，例如光照变化、姿态变化、目标遮挡等，使得开发持续鲁棒的目标跟踪系统成为一项非常具有挑战性的问题。

过去几十年以来，目标跟踪的研究取得了长足的发展。从经典的均值漂移(MeanShift)、粒子滤波(Particle Filter)跟踪算法，到基于检测(Tracking-by-Detection)的跟踪算法及相关滤波(Correlation Filter)的跟踪算法，再到最近基于深度学习(DeepLearning)的跟踪算法。最近取得的研究进展主要是基于相关滤波的跟踪算法和基于深度学习的跟踪算法。相关滤波的跟踪算法于2012年提出，其主要原理是利用傅立叶变换快速实现学习和检测，学习检测过程快速、高效。Joao F.Henriques等提出了基于颜色梯度直方图(HOG)特征的核相关滤波方法，并提出了循环矩阵的求解，解决了密集采样问题，是目标跟踪最经典的相关滤波方法之一。但是相关滤波的方法也有一些缺陷，跟踪器使用的特征提取手段单一，表征能力不足，而且当目标快速移动、形状变化较大时，大量的具有背景干扰的负样本会对跟踪效果造成影响。最近的基于深度学习的目标跟踪算法主要分为三类：第一类是基于模板匹配的跟踪算法，最具代表性的是2016年Luca Bertinetto提出的全卷积孪生网络跟踪算法(Siamese-FC)；第二类是基于机器学习回归的算法，代表作是2016年David Held提出的基于回归网络的通用目标跟踪算法(GOTURN)；第三类是基于机器学习分类的算法，2015年Hyeonseob Nam提出的多域神经网络跟踪算法(MDNet)是其中一篇经典之作。但是深度学习方法也有一些不足之处，第一，深度学习对数据集的样本数量要求比较大，而在实际跟踪过程中存在数据量不够的问题；第二，训练过程中存在正负样本不平衡问题，特别地，正样本和困难负样本数据量较小很容易造成跟踪网络训练精度不高，从而导致跟踪精度的下降；第三，深度学习的全连接层结构决定了其训练过程含有非常大的参数量，给计算机带来极大的计算和存储开销。

发明内容

本发明的目的是提供一种基于三重孪生哈希网络学习的目标跟踪方法，它能有效地解决可有效解决传统深度学习直接利用全连接层计算而导致的占用内存空间大、参数计算量大的问题。

本发明的目的是通过以下技术方案来实现的：

步骤一、目标选取

从初始图像中选择并确定要跟踪的目标对象，目标选取过程通过运动目标检测方法自动提取或者人机交互方法手动指定；

步骤二、训练数据集生成