[发明专利]基于生成对抗网络负样本增强的人体目标跟踪方法

说明书

本发明公开了一种基于生成对抗网络负样本增强的人体目标跟踪方法，分别对构建的DRAGAN网络模型和MDNet算法模型进行预训练，然后采用首帧标定的人体目标的目标矩形框对MDNet算法模型进行初始化，并初始化MDNet算法模型的样本队列和DRAGAN网络模型的训练集，持续采用MDNet算法模型进行跟踪；当DRAGAN网络模型完成首次更新训练后，采用其生成器网络生成一批负样本，作为MDNet算法模型更新训练时所采用的负样本的一部分，根据需要对MDNet算法模型进行更新训练，并周期性地采用根据跟踪结果得到的正样本对DRAGAN网络模型进行更新训练。本发明能够提高MDNet算法模型对人体目标跟踪的准确度，抑制跟踪漂移，增强算法鲁棒性。

技术领域

本发明属于目标跟踪技术领域，更为具体地讲，涉及一种基于生成对抗网络负样本增强的人体目标跟踪方法。

背景技术

作为计算机视觉领域最具挑战性的关键技术之一，目标跟踪技术在智能监控、人机交互、无人驾驶、虚拟现实甚至是军事等诸多领域都有着广泛的应用。随着社会经济的高速发展，尽管各行各业逐渐实现信息化机械化，但仍然需要大量的人力。同时各种公共、休闲娱乐场所也在不断的增加，人们在公共场所的活动越发频繁。如何在公共场所及重要的工业生产等环境中实现对人体目标跟踪一直是计算机视觉领域中的热门应用问题。

现有的目标跟踪算法根据目标的表观模型可以分为生成及判别模型跟踪算法。生成模型跟踪算法着重于学习目标的外观，将目标候选区域的图像与外观模型进行对比，跟踪结果即为误差最小的候选目标。经典的生成模型跟踪算法有基于卡尔曼滤波和粒子滤波的跟踪，还有MeanShift跟踪算法等等。生成模型跟踪算法只关注跟踪目标自身，忽略了背景信息，当目标被遮挡或发生剧烈变化时易发生跟踪漂移。与之相对的，判别模型跟踪算法着眼于区分跟踪目标与背景，即是二分类问题。这类方法主要是设计具有鲁棒性的分类器，通过训练使之能够将目标从背景中分类出来。近年来目标跟踪领域以判别模型跟踪算法为主，大多都是基于tracking-by-detection思想。经典的判别类算法有Struck和TLD(Tracking-Learning-Detection)算法等，而目前主流的跟踪算法主要是基于相关滤波的目标跟踪算法以及基于深度学习的目标跟踪算法。

基于深度学习的目标跟踪算法主要分为三类：基于模板匹配原理的算法，典型的是全卷积孪生网络SiameseFC(Fully-Convolutional Siamese networks)；基于机器学习回归算法的算法，代表作是GOTURN(Generic Object Tracking Using RegressionNetworks)；最后是基于传统分类原理的算法，最为典型的是MDNet(Multi-DomainNetworks)。前两种算法都只采用了离线训练网络的方式，在线跟踪算法实时性强，但跟踪效果不够理想。MDNet针对跟踪任务设计了小型的卷积神经网络，包含了模型的在线更新环节，跟踪效果较好。MDNet指出跟踪中用于训练观测模型的生成负样本与目标关联较小，干扰性差，冗余度较高，因此MDNet中使用了难例挖掘方法对负样本进行处理。但是负样本仍然是通过简单采样获得，样本间存在冗余，干扰性不强。

生成对抗网络(Generative Adversarial Nets，GAN)模型由Ian Goodfellow在2014年首次提出，其核心思想是基于博弈论的二人零和博弈(即一方的收益必然意味着另一方的损失，博弈双方的收益和损失相加总和永远为零)。GAN的主要目的是利用判别器网络辅助生成器网络生成与真实样本数据分布相似的伪数据。两个网络模型采用梯度交替更新策略(alternating gradient updates procedure,AGD)训练，相互对抗竞争，最终达到纳什均衡。随着对GAN基本原理与模型结构的研究，基于GAN的应用也越来越多。除了最为常见的用于样本增强的图像生成之外，GAN还被应用于图像合成、编辑，表征学习等等。而添加了条件约束的CGAN的基本思想原理，也被成功应用于文字图像转换、图像填充、数据预测甚至是视频及3D数据等领域，但是尚未应用于人体目标跟踪领域。

发明内容