[发明专利]基于多智能体深度增强学习的多目标跟踪方法

摘要

本发明公开了一种基于多智能体深度增强学习的多目标跟踪方法，通过目标检测器检测多目标，将检测到的多目标看作多个智能体，然后利用深度增强学习的方法来获得多目标的联合动作集，进而完成多目标跟踪。本发明首次将多智能体深度增强学习技术应用到多目标跟踪方法中，可以克服人工设计特征不够全面，不够准确的技术缺点，同时能够提升计算速度，实现实时跟踪，具有较高的多目标跟踪准确率、精确度，误报、漏报数较少，受多目标跟踪场景中各干扰因素的影响较小，跟踪结果较准确。

主权项

1.一种基于多智能体深度增强学习的多目标跟踪方法，其特征在于，包括以下步骤：(1)利用目标检测器检测待测视频中每一帧图像中的多个目标；对于第t帧图像，目标检测器的输出结果为集合Dt，集合Dt中包含多个目标的检测结果，所述检测结果由目标框显示，单个目标的检测结果记为dt＝(x,y,w,h)，(x,y)为目标框的中心点坐标，w、h分别为目标框的宽度和高度；(2)定义以下各参数：将每一个检测到的目标看作一个智能体，表示为智能体i，i∈I≡{1,...,n}，n为智能体的个数；将每一帧图像看作一个环境，每个智能体采取一系列动作，定义n个智能体构成的联合动作集为A≡Aⁿ，智能体i的动作a∈A≡Aⁿ；每个智能体在每一帧图像的环境下所携带的信息用状态向量表达，其中，s:＝(o,τ)，表示n个智能体状态的集合；o表示智能体i的特征向量，智能体i的历史动作集为τ∈T；智能体从环境中得到的反馈信号由反馈函数表示，所述反馈函数为R(a,s→s′)＝sign(IoU(b′,g)‑IoU(b,g))，IoU(b,g)＝area(b∩g)/area(b∪g)，b表示当前的目标框，b′表示预测的目标框，g表示目标框的真实值，s′表示采取动作a得到的新的状态变量；(3)通过各智能体之间的通信以及各智能体从环境中得到的反馈信号，构建深度Q‑网络；构建预训练的CNN网络，CNN网络包括五个池化层和一个全连接层；将智能体i输入预训练的CNN网络中提取特征，CNN网络的输出为智能体i的状态向量s，包括特征向量和历史动作；将CNN网络输出的智能体i的状态向量送入到深度Q‑网络，预测智能体i采取的动作，用动作矢量表示；将n个智能体通过相同的方法预测各自采取的动作，获得联合动作集A≡An，从而得到多目标跟踪结果。