[发明专利]基于多智能体深度增强学习的多目标跟踪方法

说明书

本发明公开了一种基于多智能体深度增强学习的多目标跟踪方法，通过目标检测器检测多目标，将检测到的多目标看作多个智能体，然后利用深度增强学习的方法来获得多目标的联合动作集，进而完成多目标跟踪。本发明首次将多智能体深度增强学习技术应用到多目标跟踪方法中，可以克服人工设计特征不够全面，不够准确的技术缺点，同时能够提升计算速度，实现实时跟踪，具有较高的多目标跟踪准确率、精确度，误报、漏报数较少，受多目标跟踪场景中各干扰因素的影响较小，跟踪结果较准确。

技术领域

本发明涉及一种视频目标跟踪方法，具体为一种基于多智能体深度增强学习的多目标跟踪方法。

背景技术

基于视频的多目标跟踪作为计算机视觉领域的一个热点问题，在很多应用领域有着广泛的应用，比如：自动驾驶、机器人导航、人工智能等。由于视频场景中存在大量的影响因素，如：目标的出现与消失，目标之间的频繁遮挡，多目标的外观相似，以及背景噪声等，都使得多目标跟踪仍然是一个具有挑战性的研究课题。

发明内容

发明目的：为了克服现有技术中大量的干扰因素对多目标跟踪造成的影响，本发明提供一种基于多智能体深度增强学习的多目标跟踪方法。

技术方案：一种基于多智能体深度增强学习的多目标跟踪方法，包括以下步骤：

(1)利用目标检测器检测待测视频中每一帧图像中的多个目标；对于第t帧图像，目标检测器的输出结果为集合D_t，集合D_t中包含多个目标的检测结果，所述检测结果由目标框显示，单个目标的检测结果记为d_t＝(x,y,w,h)，(x,y)为目标框的中心点坐标，w、h分别为目标框的宽度和高度；

(2)定义以下各参数：将每一个检测到的目标看作一个智能体，表示为智能体i，i∈I≡{1,...,n}，n为智能体的个数；将每一帧图像看作一个环境，每个智能体采取一系列动作，定义n个智能体构成的联合动作集为A≡Aⁿ，智能体i的动作a∈A≡Aⁿ；每个智能体在每一帧图像的环境下所携带的信息用状态向量s∈S表达，其中，s＝(o,τ)，S表示n个智能体状态的集合；o表示智能体i的特征向量，智能体i的历史动作集为τ∈T；智能体从环境中得到的反馈信号由反馈函数表示，所述反馈函数为R(a,s→s′)＝sign(IoU(b′,g)-IoU(b,g))，IoU(b,g)＝area(b∩g)/area(b∪g)，b表示当前的目标框，b′表示预测的目标框，g表示目标框的真实值，s′表示采取动作a得到的新的状态变量；

(3)通过各智能体之间的通信以及各智能体从环境中得到的反馈信号，构建深度Q-网络；构建预训练的CNN网络，CNN网络包括五个池化层和一个全连接层；将智能体i输入预训练的CNN网络中提取特征，CNN网络的输出为智能体i的状态向量s，包括特征向量和历史动作；将CNN网络输出的智能体i的状态向量送入到深度Q-网络，预测智能体i采取的动作，用动作矢量表示；将n个智能体通过相同的方法预测各自采取的动作，获得联合动作集A≡Aⁿ，从而得到多目标跟踪结果；

优选的，步骤(3)中构建深度Q-网络的方法为：令智能体i的深度Q-网络方程为智能体之间的通信定义为其中，mⁱ表示智能体i发出的消息，m^-i表示第i个智能体从其他智能体收到的消息，所述消息为智能体i的状态；消息的收发采用LSTM单元；消息函数定义为m(s,a|θ_m)；通过计算损失函数的最小值来获得参数令损失函数为计算公式为：

为智能体i从环境中得到的反馈信号，系数γ∈[0,1)。

优选的，步骤(1)中的目标检测器采用YOLO V3目标检测器。