[发明专利]基于多智能体深度增强学习的多目标跟踪方法

权利要求书

1.一种基于多智能体深度增强学习的多目标跟踪方法，其特征在于，包括以下步骤：

(1)利用目标检测器检测待测视频中每一帧图像中的多个目标；对于第t帧图像，目标检测器的输出结果为集合D_t，集合D_t中包含多个目标的检测结果，所述检测结果由目标框显示，单个目标的检测结果记为d_t＝(x,y,w,h)，(x,y)为目标框的中心点坐标，w、h分别为目标框的宽度和高度；

(2)定义以下各参数：将每一个检测到的目标看作一个智能体，表示为智能体i，i∈I≡{1,...,n}，n为智能体的个数；将每一帧图像看作一个环境，每个智能体采取一系列动作，定义n个智能体构成的联合动作集为A≡Aⁿ，智能体i的动作a∈A≡Aⁿ；每个智能体在每一帧图像的环境下所携带的信息用状态向量表达，其中，s＝(o,τ)，表示n个智能体状态的集合；o表示智能体i的特征向量，智能体i的历史动作集为τ∈T；智能体从环境中得到的反馈信号由反馈函数表示，所述反馈函数为R(a,s→s′)＝sign(IoU(b′,g)-IoU(b,g))，IoU(b,g)＝area(b∩g)/area(b∪g)，b表示当前的目标框，b′表示预测的目标框，g表示目标框的真实值，s′表示采取动作a得到的新的状态变量；

(3)通过各智能体之间的通信以及各智能体从环境中得到的反馈信号，构建深度Q-网络；构建预训练的CNN网络，CNN网络包括五个池化层和一个全连接层；将智能体i输入预训练的CNN网络中提取特征，CNN网络的输出为智能体i的状态向量s，包括特征向量和历史动作；将CNN网络输出的智能体i的状态向量送入到深度Q-网络，预测智能体i采取的动作，用动作矢量表示；将n个智能体通过相同的方法预测各自采取的动作，获得联合动作集A≡Aⁿ，从而得到多目标跟踪结果。

2.根据权利要求1所述的基于多智能体深度增强学习的多目标跟踪方法，其特征在于，步骤(3)中构建深度Q-网络的方法为：令智能体i的深度Q-网络方程为智能体之间的通信定义为其中，mⁱ表示智能体i发出的消息，m^-i表示第i个智能体从其他智能体收到的消息，所述消息为智能体i的状态；消息的收发采用LSTM单元；消息函数定义为m(s,a|θ_m)；通过计算损失函数的最小值来获得参数令损失函数为计算公式为：

为智能体i从环境中得到的反馈信号，系数γ∈[0,1)。

3.根据权利要求1所述的基于多智能体深度增强学习的多目标跟踪方法，其特征在于，步骤(1)中的目标检测器采用YOLO V3目标检测器。

4.根据权利要求1所述的基于多智能体深度增强学习的多目标跟踪方法，其特征在于，步骤(3)中的预训练的CNN网络包括五个池化层和一个全连接层，五个池化层分别是第一池化层Conv1-2、第二池化层Conv2-2、第三池化层Conv3-3、第四池化层Conv4-3、第五池化层Conv5-3。

5.根据权利要求1所述的基于多智能体深度增强学习的多目标跟踪方法，其特征在于，步骤(2)中的动作包括向右、向左、向上、向下、扩大、缩小、变宽、变高及停止。