[发明专利]一种基于图匹配的多目标跟踪方法和系统

权利要求书

1.一种基于图匹配的多目标跟踪方法，其特征在于，包括以下步骤：

(1)获取多目标跟踪数据集，其包含输入视频序列、以及输入视频序列中每一帧的检测响应；

(2)设置计数器cnt1＝1；

(3)判断cnt1是否等于输入视频序列的总帧数，如果是则进入步骤(14)，否则进入步骤(4)；

(4)从步骤(1)得到的输入视频序列中获取第cnt1帧和第cnt1+1帧，并根据前一帧构建图G1，根据后一帧构建图G2，图G1和G2分别包括两个顶点集合V1和V2；顶点集合V1中的顶点是前一帧中的所有检测响应，顶点集合V2中的顶点是后一帧中的所有检测响应；

(5)分别获取步骤(4)构建的图G1和G2中顶点集合V1和V2中的所有顶点，并将这些顶点分别输入训练好的三元组网络中，以得到各个顶点对应的特征向量；其中三元组网络训练时使用的损失函数是三元组损失函数；

(6)将步骤(5)得到的各个顶点的特征向量分别输入训练好的第一浅层神经网络和第二浅层神经网络中，以分别获取图G1的顶点集合V1中每一个顶点和图G2的顶点集合V2中每个顶点之间的匹配度、以及图G1的边集合E1中每个连接边和图G2的边集合E2中每个连接边之间的匹配度；第一浅层神经网络和第二浅层神经网络的结构，二者完全相同，且网络结构均为：

第一层是全连接层，激活函数采用ReLU，Dropout的保留概率设置为0.5，输出是1024维度的特征向量；

第二层是全连接层，激活函数采用Softmax，输出是2维度的特征向量；

(7)根据步骤(6)得到的图G1的顶点集合V1中每一个顶点和图G2的顶点集合V2中每个顶点之间的匹配度、以及图G1的边集合E1中每个连接边和图G2的边集合E2中每个连接边之间的匹配度构建亲密度矩阵M；

(8)对步骤(7)得到的亲密度矩阵M进行幂迭代处理，以得到最优分配向量v^*；

(9)对步骤(8)得到的最优分配向量v^*进行双向随机化处理，以得到分配矩阵S；

(10)设置计数器cnt2＝1；

(11)判断计数器cnt2是否等于图G1中的顶点总数，如果是则进入步骤(14)，否则进入步骤(12)；

(12)在步骤(9)得到的分配矩阵S获取图G2中与图G1中第cnt2个顶点初步匹配的顶点，并判断图G1和图G2中彼此初步匹配的这两个顶点对应的两个检测响应之间的交并比是否大于或等于一预设阈值，如果是则建立图G1中的该顶点在前一帧中对应的目标和图G2中的该顶点在后一帧中对应的目标之间的关联，然后进入步骤(13)，否则直接进入步骤(13)；

(13)设置计数器cnt1＝cnt1+1，并返回步骤(3)；

(14)针对在输入视频序列的第一帧中的每个目标而言，将整个输入视频序列的剩余所有帧中均与该目标建立有关联的所有目标与该目标一起，构成该目标的跟踪轨迹。

2.根据权利要求1所述的多目标跟踪方法，其特征在于，

如果顶点集合V1中的两个顶点在该前一帧中对应的目标之间的距离小于或等于一阈值，则这两个顶点之间具有连接边，顶点集合V1对应的所有连接边构成边集合E1；

如果顶点集合V2中的两个顶点在该后一帧中对应的目标之间的距离小于或等于一阈值，则这两个顶点之间具有连接边，顶点集合V2对应的所有连接边构成边集合E2。

3.根据权利要求1或2所述的多目标跟踪方法，其特征在于，三元组网络由三路构成，每一路均包含包括顺序连接的ResNet-50卷积神经网络模型和两个全连接层，其中：

第一层是ResNet-50卷积神经网络模型，其中包含1个卷积层、16个积木结构及1个全连接层；

第二层是全连接层，激活函数采用ReLU，输出是1024维度的特征向量；

第三层是全连接层，激活函数采用ReLU，输出是128维度的特征向量。