[发明专利]一种基于图网络的多目标跟踪方法

说明书

本发明提供了一种基于图网络的多目标跟踪方法，图网络包括特征提取网络模块和图卷积匹配模块，具体包括以下步骤：S1、选取视频中的两帧图像输入特征提取网络模块；S2、通过特征提取网络模块对目标进行特征的提取，获取两帧图像各自的目标特征向量集Fsubgt;M/subgt;和Fsubgt;N/subgt;，M和N分别表示两帧图像中检测到目标的数量；S3、基于目标特征向量集Fsubgt;M/subgt;和Fsubgt;N/subgt;，计算目标特征向量之间的相似度，构建二部图；S4、通过所述图卷积匹配模块对二部图进行匹配，并利用损失函数进行图网络的反向传播获得最优的匹配矩阵。本发明提供的一种基于图网络的多目标跟踪方法，利用卷积网络对目标进行特征提取，并且提出的损失函数解决了目标数量不确定的问题，大大提高多目标跟踪的正确率。

技术领域

本发明涉及计算机视觉跟踪技术领域，尤其涉及一种基于图网络的多目标跟踪方法。

背景技术

目标跟踪技术通过观察运动目标的位置信息、根据时序将目标串联起来，利用得到的轨迹走向分析该运动目标的行为，预判目标下一时刻的动向，可以用于预测目标未来的运动趋向或者目标的行为状态，在许多应用场景中有非常重要的价值。如在机器导航、自动驾驶和视频监控系统中，在线多目标跟踪技术起到了重要作用。

对于专利申请CN201910429444.X中公开了一种基于深度学习和数据关联的在线多目标跟踪方法，包括如下步骤：1、输入视频当前帧的图像；2、应用目标检测器得到图像中所有的检测响应；3、利用深度余弦度量学习模型提取检测响应的外观特征；4、初始化目标状态；5、利用卡尔曼滤波算法预测目标在下一帧的位置和尺度；6、基于两阶段数据关联将目标与检测响应的匹配关联，得到最优关联结果；7、根据步骤6中的最优关联结果更新目标的状态和特征；8、输入下一视频帧的图像，重复步骤2、3、4、5、6、7，直到视频结束。该方案解决了多目标跟踪中的数据关联问题，通过深度卷积网络框架自动学习检测到目标的外观特征。但直接计算目标之间的相似度利用匈牙利算法进行轨迹匹配对误检、漏检等问题无法进行更正，在目标遮挡或者相似目标相互交错的场景下，容易发生身份互换，导致IDSw次数增加。

发明内容

本发明的实施例提供了一种基于图网络的多目标跟踪方法，以克服现有技术的缺陷。

为了实现上述目的，本发明采取了如下技术方案。

一种基于图网络的多目标跟踪方法，所述图网络包括特征提取网络模块和图卷积匹配模块，具体包括以下步骤：

S1、选取视频中的两帧图像输入所述特征提取网络模块；

S2、通过所述特征提取网络模块对目标进行特征的提取，获取所述两帧图像各自的目标特征向量集F_M和F_N，M和N分别表示两帧图像中检测到目标的数量；

S3、基于所述目标特征向量集F_M和F_N，计算目标特征向量之间的相似度，构建二部图；

S4、通过所述图卷积匹配模块对二部图进行匹配，并利用损失函数进行图网络的反向传播获得最优的匹配矩阵。

优选地，所述特征提取网络模块为以VGG为基础的36层扩展网络，所述图卷积匹配模块包含两层图卷积层，分别为用于节点特征更新的节点特征更新层和用于边关系更新的边关系更新层。

优选地，所述S1具体为：

利用DPM或R-CNN检测器检测视频中每一帧的目标，选取连续或不连续的两帧图像和检测信息输入特征提取网络模块。

优选地，所述S2具体为：

使用以VGG为基础的36层扩展网络进行特征的提取，选择其中9个层的特征图，连接所述特征图组合形成检测到对象的520维向量，得到两帧的feature map，分别为特征向量集F_M和F_N。