[发明专利]基于深度增强学习的多目标跟踪方法

说明书

本发明公开了一种基于深度增强学习的多目标跟踪方法及装置，其中，方法包括：提取行人特征；将行人特征输入预测网络，以预测行人位置；根据行人位置得到行人信息，并且将行人信息输入决策网络进行判断，以对目标进行跟踪。该方法可以利用了不同目标以及环境之间信息的交互利用，大大提升跟踪的精度和性能。

技术领域

本发明涉及数字图像处理技术领域，特别涉及一种基于深度增强学习的多目标跟踪方法及装置。

背景技术

MOT(Multi-Object Tracking，多目标跟踪技术)在视频监控，人机交互，自动驾驶等各种方面都有着深入的应用，多目标跟踪的目的就是估计视频中不同目标的轨迹并且跟踪他们。尽管有很多关于MOT的方法，被不断提出，但是在很多没有约束的场景下，尤其是人群拥挤的环境中这个问题非常难以被解决，这是因为不同物体之间的遮挡和巨大的类内差异所致。

相关技术中，多目标跟踪技术主要可以分为两大类，第一种是离线型(又称之为批处理型)；第二种是在线型。其中，离线方法的中心思想就是把每一帧中物体的检测结果连接成小的跟踪片段，然后再用更加可靠的特征来进行片段的合并。比较有代表性的离线方法主要有最小代价网络流算法，能量最小化方法，以及最小完全图算法等等；而在线方法则着手于当前帧和下一帧中目标的匹配，这种方法能够做到比较好的实时性，从而在实际应用中有着一席之地。比较传统的在线多目标跟踪方法大多应用了卡尔曼滤波，粒子滤波，或者马尔科夫决策过程。

然而，这些方法的跟踪准确率都不是很高，主要是因为这些方法对于遮挡和噪声比较敏感，比如漏检测、误检测和不准确的标注等等。在传统方法不甚奏效的情况下，最近也出现了基于深度学习的方法，比如基于深度增强学习的多目标跟踪策略。深度增强学习在不同场景中的应用都十分广发，比如目标检测，人脸检测，图像超分辨率，和目标搜索[等等。深度增强学习主要可以分为两大类，第一种是深度Q-学习，以及策略梯度法。对于深度Q-学习方法，Q值通过深度神经网络进行拟合，从而得到在特定状态下做出特定决策动作的取值；对于策略梯度法，策略的分布被显式描述，从而使代价函数增大的策略通过网络参数的更新，其取得概率直接增大。

关于多目标跟踪的任务，可用于实验训练和测试的数据集主要有MOT15和MOT16。MOT15数据集含有11个训练序列和11个测试序列。每一个序列所在的场景都是不同的，其中最为困难的序列是AVG-TownCentre，这是因为采集时的帧率很低，congress对于跟踪方法提出的要求很高；MOT16数据集含有7个训练序列和7个测试序列，MOT16比MOT15难度更高，标注更加全面，很多在MOT15中不要求的困难样例也加入了标注集合中，很多拥挤的场所也加入了序列中。对于两个数据集中的各个序列，相机角度，相机移动和拍摄条件也是不尽相同的。

发明内容

本发明旨在至少在一定程度上解决相关技术中的技术问题之一。

为此，本发明的一个目的在于提出一种基于深度增强学习的多目标跟踪方法，该方法可以大大提升了跟踪的精度和性能。

本发明的另一个目的在于提出一种基于深度增强学习的多目标跟踪装置。

为达到上述目的，本发明一方面实施例提出了一种基于深度增强学习的多目标跟踪方法，包括以下步骤：提取行人特征；将所述行人特征输入预测网络，以预测行人位置；根据所述行人位置得到行人信息，并且将所述行人信息输入决策网络进行判断，以对目标进行跟踪。

本发明实施例的基于深度增强学习的多目标跟踪方法，可以通过结合深度神经网络对行人自身特征做了良好的提取与预测，从而有效地利用图像的原始信息，其效果远远好于手工特征提取和基于经验的位置预测方法；考虑到每一个行人不仅仅根据自己蕴含的信息来更新位置，而且在发生遮挡或者漏检测、误检测的时候，还会相应的与其他行人、环境进行交互，通过引入的深度强化学习决策网络将整个信息交互的过程加以模拟，从而进行较为准确的判定，极大程度上提升了多目标跟踪的性能，克服传统多目标跟踪方法对于遮挡、误检测、漏检测等噪声的敏感。