[发明专利]基于幻觉对抗网络的鲁棒目标跟踪方法

说明书

基于幻觉对抗网络的鲁棒目标跟踪方法，涉及计算机视觉技术。首先提出一种新的幻觉对抗网络，旨在于学习样本对间的非线性形变，并将学习到的形变施加在新目标以此来生成新的目标形变样本。为了能有效训练所提出的幻觉对抗网络，提出形变重构损失。基于离线训练的幻觉对抗网络，提出基于幻觉对抗网络的目标跟踪方法，该方法能有效缓解深度神经网络在目标跟踪过程中由于在线更新发生的过拟合问题。此外，为了能进一步提升形变迁移质量，提出选择性性变迁移方法，进一步提升了跟踪精度。提出的目标跟踪方法在当前主流目标跟踪数据集上取得了具有竞争力的结果。

技术领域

本发明涉及计算机视觉技术，尤其是涉及一种基于幻觉对抗网络的鲁棒目标跟踪方法。

背景技术

近几年，深度神经网络在计算机视觉领域的应用取得了巨大成功。目标跟踪作为计算机视觉领域的基础问题之一，其在当前许多计算机视觉任务中均扮演了十分重要的角色，如无人驾驶、增强现实、机器人等领域。近来，基于深度神经网络的目标跟踪算法研究受到了国内外研究者的广泛关注。然而，与其他计算机视觉任务所不同(如目标检测和语义分割)，深度神经网络在目标跟踪任务中的应用仍然十分的有效，主要原因为目标跟踪任务本身存在一定的特殊性，其缺少多样化的在线目标训练样本，因此极大地限制了深度神经网络的泛化性，进而影响跟踪结果。同时，目标跟踪任务旨在于跟踪任意目标，其对于要跟踪的目标不提前给出任何先验知识，这一点也对于深度神经网络离线训练数据集的选择带来了巨大挑战。因此，提出一个具有强泛化性的基于深度神经网络的目标跟踪算法具有重要的现实意义。

为了缓解上述问题，当前国内外的研究者们主要提出了两种类型的解决方法。第一类方法将目标跟踪任务看作是一个模板匹配的问题，其具体实现往往采用深度孪生网络，将目标模板和搜索区域同时作为深度孪生网络的输入，最后得到搜索区域中与目标模板最为相似的子区域位置。基于相似度计算的深度孪生网络可以通过使用大量标注的目标跟踪数据集进行完全离线的训练，因此其可以避免由于在线训练样本过少所带来的过拟合问题。在基于深度孪生网络的目标跟踪算法中，其开创性的算法为SiamFC。基于SiamFC，研究者们提出了许多改进算法，其包括使用区域建议窗口生成网络的SiamRPN、使用动态记忆网络的MemSiamFC、使用更深层次骨架网络的SiamRPN++等。由于SiamFC类型的跟踪算法能避免耗时的在线训练步骤，因此其往往能达到远超实时的跟踪速度。然而，由于此类算法缺少对于目标表观变化在线学习的过程，其精度仍然较为受限(如在OTB数据集上的精度结果)。研究者们所提出的另一类方法旨在于利用有限的在线样本来学习鲁棒的神经网络分类器。此类方法的一般思路为使用迁移学习领域的方法来缓解过拟合问题，其较为代表性的方法为H.Nam等人于2016年提出的MDNet。MDNet首先使用多域离线学习来学习较好的分类器初始模型参数，然后在跟踪过程中，通过收集目标的正负样本来进一步训练分类器。近来，基于MDNet，研究者们提出了使用对抗学习的VITAL、学习不同层次目标表征的BranchOut、使用RNN的SANet等。相比于前一类方法，此类方法比上一类方法能达到更高的跟踪精度。然而，由于极为有限的在线样本(尤其是目标样本)，使得此类方法的在线学习十分受限，仍易造成过拟合的问题，进而影响跟踪性能。因此，设计一种简单有效的方法来缓解深度目标跟踪算法在跟踪过程中发生的过拟合问题，具有非常重大的意义。

与当前的目标跟踪算法相比，人类可以轻而易举的对移动的目标进行跟踪。虽然人脑的机制到目前为止还没被完全的探索清楚，但我们可以确定的是通过人类以前的学习经历，人脑衍生出了无与伦比的想象机制。人类可以从平时看到的各类事物中学习到相似的动作或变换，从而将这种相似的变换施加到不同的目标，以此想象出新的目标在不同姿态或动作下的样子。这样的想象机制与机器学习中的数据增强方法极为的类似，人脑可以类比为一个视觉分类器，然后使用想象机制来得到不同状态下的目标样本，从而训练出一个鲁棒的视觉分类器。

发明内容

本发明的目的在于提供基于幻觉对抗网络的鲁棒目标跟踪方法。

本发明包括以下步骤：