[发明专利]一种基于多个摄像头融合的目标物跟踪方法和系统

权利要求书

1.一种基于多个摄像头融合的目标物跟踪方法，其特征在于，包括步骤：

100：从若干个摄像头拍摄的图像中实时提取需要跟踪的目标物信息，所述目标物信息至少包括：目标物检测框在图像中的位置信息、目标物检测框内的图像、目标物类别和目标物ID；

200：采用经过训练的深度残差编码器对输入其中的目标物检测框内的图像进行识别，以输出对应的目标物外观特征编码；所述深度残差编码器的数量与目标物类别的数量对应；

300：存储目标物检测框在图像中的位置信息、目标物类别、目标物ID、目标物外观特征编码及其对应的时间戳，并将其作为对应的历史数据；

400：目标物检测框在图像中的历史位置信息，对目标物检测框在图像中的当前位置进行预测，以得到目标物检测框的预测位置；

500：基于当前检测的当前目标物检测框的位置，计算其与对应的目标物检测框的预测位置之间的欧式距离，并基于设定的第一阈值筛选出小于第一阈值的候选目标物；

600：基于当前检测的当前目标物外观特征编码，计算其与候选目标物的外观特征编码的余弦距离，并基于设定的第二阈值筛选出小于第二阈值的候选匹配目标物；

700：采用匈牙利算法从候选匹配目标物中为当前检测的当前目标物进行匹配指派，以实现跟踪。

2.如权利要求1所述的基于多个摄像头融合的目标物跟踪方法，其特征在于，所述目标物至少包括行人和车辆。

3.如权利要求1所述的基于多个摄像头融合的目标物跟踪方法，其特征在于，在步骤400中，采用卡尔曼滤波器对目标物检测框在图像中的当前位置进行预测。

4.如权利要求1所述的基于多个摄像头融合的目标物跟踪方法，其特征在于，在步骤100和步骤200之间还包括预处理步骤：将目标物检测框内的图像缩放至深度残差编码器的输入尺寸。

5.如权利要求1所述的基于多个摄像头融合的目标物跟踪方法，其特征在于，目标物检测框在图像中的位置信息包括检测框中心点的像素位置以及检测框的长度和宽度。

6.如权利要求1所述的基于多个摄像头融合的目标物跟踪方法，其特征在于，还包括步骤800：当没有从候选匹配目标物中为当前检测的目标物匹配到对应的目标物时，为该当前检测的目标物赋予新的ID，并将其作为历史数据存储。

7.如权利要求1所述的基于多个摄像头融合的目标物跟踪方法，其特征在于，所述深度残差编码器采用MOT行人重识别数据集和车载摄像头采集数据集进行训练。

8.一种基于多个摄像头融合的目标物跟踪系统，其特征在于，包括：

目标物检测模块，其从若干个摄像头拍摄的图像中实时提取需要跟踪的目标物信息，所述目标物信息至少包括：目标物检测框在图像中的位置信息、目标物检测框内的图像、目标物类别和目标物ID；

目标物重识别编码模块，其包括与目标物类别的数量对应的深度残差编码器，所述各深度残差编码器分别基于输入的目标物检测框内的图像，而输出对应的目标物外观特征编码；

数据库，其接收所述目标物检测框在图像中的位置信息、目标物类别、目标物ID、目标物外观特征编码及其对应的时间戳，并将其作为对应的历史数据进行存储；

在线匹配跟踪模块，其包括位置预测子模块、距离计算子模块和匈牙利匹配子模块，其中：

位置预测子模块基于数据库中存储的目标物检测框在图像中的历史位置信息，对目标物检测框在图像中的当前位置进行预测，以得到目标物检测框的预测位置；

距离计算子模块，其先计算当前检测的当前目标物检测框的位置与对应的目标物检测框的预测位置之间的欧式距离，并基于设定的第一阈值从数据库中筛选出小于第一阈值的候选目标物；然后计算当前检测的当前目标物的外观特征编码和候选目标物的外观特征编码的余弦距离，并基于设定的第二阈值从数据库中筛选出小于第二阈值的候选匹配目标物；

匈牙利匹配子模块，其采用匈牙利算法从候选匹配目标物中为当前检测的当前目标物进行匹配指派，以实现跟踪。