[发明专利]一种基于图网络的多目标跟踪方法

权利要求书

1.一种基于图网络的多目标跟踪方法，其特征在于，所述图网络包括特征提取网络模块和图卷积匹配模块，具体包括以下步骤：

S1、选取视频中的两帧图像输入所述特征提取网络模块；

S2、通过所述特征提取网络模块对目标进行特征的提取，获取所述两帧图像各自的目标特征向量集F_M和F_N，M和N分别表示两帧图像中检测到目标的数量；

S3、基于所述目标特征向量集F_M和F_N，计算目标特征向量之间的相似度，构建二部图；

S4、通过所述图卷积匹配模块对二部图进行匹配，并利用损失函数进行图网络的反向传播获得最优的匹配矩阵；

所述特征提取网络模块为以VGG为基础的36层扩展网络，所述图卷积匹配模块包含两层图卷积层，分别为用于节点特征更新的节点特征更新层和用于边关系更新的边关系更新层；

所述步骤S1具体为：

利用DPM或R-CNN检测器检测视频中每一帧的目标，选取连续或不连续的两帧图像和检测信息输入特征提取网络模块；

所述步骤S2具体为：

使用以VGG为基础的36层扩展网络进行特征的提取，选择其中9个层的特征图，连接所述特征图组合形成检测到对象的520维向量，得到两帧的feature map，分别为特征向量集F_M和F_N；

所述步骤S3具体为：

以目标特征为图的节点特征，目标之间的相似度矩阵为图的邻接矩阵，通过计算目标特征向量之间的余弦距离得到相似度矩阵构建二部图，输入到图卷积匹配模块；

所述步骤S4包括：

所述节点特征更新层在二部图的不相交的节点中通过矩阵乘法实例化消息传递功能，即二部图中一个集合中每个节点的特征向量，根据另一个集合中所有节点之间的相似度加权更新它们的特征向量，新的特征向量表示为：

F_M＝ρ(Softmax(S)F_NW_θ)

F_N＝ρ(Softmax(S)F_MW_θ)

其中，F_M∈R^IxC表示前一帧中轨迹检测到的结果特征，F_N∈R^JxC表示当前帧中检测到的结果特征，R代表实数，I是指前一帧中轨迹的数量，J是当前帧检测到的目标的数量，θ表示神经网络中的参数，C为向量维度；

等式右边S∈R^IxJ表示通过余弦距离计算得到的目标间的相似度矩阵，Softmax(S)表示对计算出的相似度矩阵进行Softmax归一化，W∈R^DxC代表一组可学习的权重；D是设置的参数，即节点更新生成D维的特征向量；ρ(.)对元素进行非线性化操作，采用的是ReLU函数；

将更新后的节点特征向量输入所述边关系更新层，其中，关联矩阵中元素x_ij∈R通过一对节点的特征聚集到连接这两个节点的边缘上进行边的特征估计，然后应用一个可学习的转换来计算标量值x_ij输出，表示为：

x_ij＝MLP_θ(σ(F_i,F_j))

式中，σ(.)表示将节点特征聚合为中间的边缘特征的特征聚合功能，x_ij∈R，x_ij表示前一帧的第i条轨迹与当前帧第j个检测到的目标之间的相似度，重新更新；

i为矩阵的第i行，j为矩阵第j列，F_i表示第i个目标更新后的特征向量，F_j表示第j个目标更新后的特征向量；

多级矩阵损失L由三个部分组成，分别是匹配损失L_E，一对一关联损失L_O2O，新轨迹与消失轨迹的关联损失L_BD，L取三者的平均值，即L＝(L_E+L_O2O+L_BD)/3；

首先，将地面真值关联矩阵Y分成两个部分：

一个为符合一对一关联的子矩阵Y_O2O∈R^k×k，其中，当i和j匹配时，该位置的元素为1，其他为0，k表示目标一对一关联的数量；

另一个为子矩阵Y_BD表示目标的出现和消失，行中出现1代表新目标出现，列中出现1代表旧目标消失，并且Y_BD∪Y_O2O＝Y，

地面真值关联矩阵Y和估计损失矩阵A中的每个元素都是二进制数据，表示该元素匹配还是不匹配，对每个元素应用二元交叉熵损失如下公式表示：

其中，L_E表示匹配损失；A_ij，Y_ij表示矩阵A和Y中的元素；p是权重因子，可根据数据样本设置；

对估计损失矩阵A按照地面真值关联矩阵Y进行分离，分别表示为子矩阵A_O2O和子矩阵A_BD在向量层面上，对于一对一关联的损失函数采用多监督分类损失函数，按照以下公式计算一对一关联损失L_O2O，其中，k表示目标一对一关联的数量，V_O2O表示矩阵Y_O2O和A_O2O之间的差值：

定义L_BD为新轨迹与消失轨迹的关联损失，采用均方误差使估计矩阵逼近于真值矩阵，公式表示如下，其中，V_BD表示矩阵Y_BD和A_BD之间的差值：

其中，v＝m+n-2*k，m，n分别表示两帧中的目标数量，k表示目标一对一关联的数量，v表示两帧中一共出现的目标数量。