[发明专利]一种基于复合循环神经网络系统的多目标跟踪系统

权利要求书

1.一种基于复合循环神经网络系统的多目标跟踪系统，其特征在于，是基于RNN和GRU构成的复合循环神经网络系统的多目标跟踪网络模型，采用边界框标注被跟踪对象，所述复合循环神经网络系统包括基于RNN的目标检测单元、基于GRU的跟踪管理单元以及基于GRU的数据关联单元，所述多目标跟踪网络模型采用以下步骤处理待测视频数据：

RNN的目标检测单元，输出t时刻对待测视频数据集v_t的图像的检测结果集α_t＝{a_it}_A，a_it为t时刻视频帧中检测到的第i个对象，A为至t时刻累计检测到的对象集；

基于GRU的跟踪管理单元，输出t时刻对视频帧中各目标的跟踪结果集β_t＝{b_jt}_B,b_jt为t时刻相应视频帧中被跟踪的第j个对象，B为t时刻相应视频帧中对象的合集；以及，根据上述检测结果集以及跟踪结果集，计算数据关联的相似矩阵C_t＝[c_(ij)t]_A×B,其中c_(ij)t是a_it与b_jt间的欧式距离，c_(ij)t＝||a_it-b_jt||₂；

基于GRU的数据关联单元，以t时刻的相似矩阵C_t中的子元素c_(ij)t为输入，输出结果为t时刻相应图像帧中第j个跟踪结果与当前任一检测结果i间的匹配概率向量a_(ij)t，表示t时刻第j个跟踪目标和第i个检测结果间的匹配概率,且Σa_(ij)t＝1并构成概率向量A_t，匹配概率最大的目标检测结果视为t时刻相应目标的跟踪结果；

所述基于RNN和GRU构成的复合循环神经网络系统的多目标跟踪网络模型的损失函数如下：

其中h_t＝∑h_lt，分别为复合循环网络系统t时刻的隐藏层状态和t-1时刻预算的t时刻的隐藏层状态，x₁，x₂，x₃，x₄为权重值，在网络训练过程中的每次迭代过程进行更新，以使损失最小，N为t时刻检测到的目标总数，M为t时刻跟踪结果数目，D为目标的位置种类信息，D＝4；

RNN与GRU网络的每一网络层均有一个相应的隐藏层状态h，t-1时刻预算的t时刻的第l层隐藏层状态的前向传播算法如式所示：

其中，φ()为激活函数,x_lt为当前隐藏层的输入，U_l、W_l为权值，b_l为偏置；将训练集数据输入模型进行网络训练，训练过程视为以下两步骤的迭代过程：步骤一是基于预设鉴别网络学习率超参数值，利用梯度下降法更新鉴别网络结点参数值，生成网络结点参数值保持不变；步骤二是基于预设生成网络学习率超参数值，利用梯度下降法更新生成网络结点参数值，鉴别网络结点参数值保持不变；训练迭代过程为：执行步骤一多次后，执行步骤二一次，重复该迭代过程，直至损失最小，训练完毕。

2.根据权利要求1所述基于复合循环神经网络系统的多目标跟踪系统，其特征在于，模型的训练集数据通过对来自网络公共数据库的数据进行人工扩充和标注，以得到足够的训练样本集；其中标注过程为通过计算机脚本对视频帧中每个目标对象进行框选，并对不同目标加以编号。

3.根据权利要求2所述基于复合循环神经网络系统的多目标跟踪系统，其特征在于，扩充数据集的方法包含以下两种方式：

(1)对来自网络公共数据库的视频数据集进行人工处理，人工处理的方法包括对视频图像的亮度及对比度进行调节，对行人对象及其运动轨迹进行镜像翻转、对视频图像进行随机平移、随机旋转；

(2)通过物理建模，建立基于网络公共视频数据集中行人对象的轨迹运动模型，即通过对所述视频数据集中行人运动轨迹的初始位置、平均运动速度、加速度三个变量估计其概率分布，然后通过对所述概率分布进行采样并模拟生成多个虚拟运动轨迹。