[发明专利]多相机目标追踪方法、系统、装置及存储介质

说明书

本申请的多相机目标追踪方法、系统、装置及存储介质，该方法通过对多个相机每次同步拍摄的多个图像帧中的每个图像帧进行多个原始图像区域的选取，并对应提取的特征图且据以通过滤波器生成响应图，通过辨别包含得分最高的目标点的响应图所确定的追踪目标边界框在对应的图像帧中提取追踪结果；且在判断在某些相机下追踪目标被遮挡时，通过多相机间约束方法来得到被遮挡图像帧的追踪结果，有效消除追踪遮挡，且多相机可以同时提供追踪目标在多个视角的信息，作为输入可以使得相关滤波器学习到多角度的特征从而对视角变化更具有鲁棒性。

技术领域

本申请涉及目标追踪技术领域，尤其涉及多相机目标追踪方法、系统、装置及存储介质。

背景技术

通用视觉追踪(generic visual tracking)是计算机视觉领域中的一个基础任务。该任务会给 出视频序列中第一帧被追踪物体的边界框，追踪器预测被追踪物体在此后每一帧的位置以及 大小。随着视觉追踪的快速发展，该技术被越来越多地运用到人流密集区域以及安检卡口等 场所对特定的追踪上。另一方面，视觉追踪也是自动驾驶中的一项关键技术。根据相机的数 目以及被追踪物体的数目，视觉追踪任务可被划分为四类，即单相机单目标追踪，单相机多 目标追踪，多相机单目标追踪和多相机多目标追踪。追踪任务的关键在于准确的目标定位以 及算法的高效性。

目前，追踪任务主要面临的问题包括遮挡，光照变化，被追踪物体发生形变，运动模糊 (motion blur)。其中，基于单相机的追踪方法受限于追踪器的物理性质，对被追踪物体发生遮 挡的情况鲁棒性差。

现有的多相机追踪算法基本为多目标追踪。此类追踪算法主要是先对人进行物体检测， 再使用ReID(Re-Identificatio，重检测)网络进行特征提取与帧间匹配，从而达到追踪的效果。 然而，由于其中检测算法的限制，此类方法只能用于人的追踪而不能实现对任意物体的追踪。

发明内容

鉴于以上所述现有技术的缺点，本申请的目的在于提供多相机目标追踪方法、系统、装 置及存储介质，解决现有技术的目标追踪技术的各种问题。

为实现上述目标及其他相关目标，本申请提供一种多相机目标追踪方法，应用于与相机 阵列相关的电子装置，所述相机阵列中的每个相机同步拍摄，并以每次各相机拍摄到的各图 像帧作为一图像序列；所述方法包括：在一图像序列对应配置有用于从其中的图像帧框选追 踪目标的一初始边界框的情况下，利用该初始边界框、及其在中心不变而缩放尺度变化情况 下得到的多个备选边界框分别在该图像序列中的每个图像帧中分别提取多个原始图像区域； 将每个图像帧的多个原始图像区域输入至特征提取器，以得到对应的每个图像帧的多个特征 图；利用滤波器对每个图像帧的多个特征图进行滤波，以得到对应的多个响应图；在根据每 个图像序列中对应每个相机的一图像帧所得到的多个响应图中，获得包含最高得分的目标点 的响应图来作为跟踪结果获取依据，并以该最高得分作为对应的相机在该图像帧的得分的生 成依据；以该目标点在该图像帧中的相应像素点所在位置为边界框参考点，并以得到该跟踪 结果获取依据所使用的备选边界框的尺度为边界框尺度，结合所述边界框参考点及边界框尺 度以构建用于在该图像帧中提取出追踪结果的追踪结果边界框；将各相机在该图像序列中对 应图像帧的得分与一预设阈值比较，据以判别相机是否存在追踪目标被遮挡情况；对于判别 为存在追踪目标被遮挡情况的相机的第一类图像帧，通过多相机间约束方法修正对应的追踪 结果边界框，并据以在第一类图像帧中提取追踪结果；对于判别为不存在追踪目标被遮挡情 况的相机的第二类图像帧，利用对应的追踪结果边界框提取得到追踪结果。

于一实施例中，所述滤波器和特征提取器是经预训练得到的，所述预训练包括：一或多 次迭代计算，每次迭代计算包括：在随机选取的追踪目标的视频中，随机选取预定数量图像 帧，用于生成多个训练样本对，每个训练样本对包括：根据参考标准在所述随机选取的每个 图像帧中提取的原始图像区域、及根据原始图像区域得到的响应图；或者，每个训练样本对 包括：对该原始图像区域进行偏移得到的图像区域、及根据所述偏移得到的图像区域生成的 响应图；使用所述多个训练样本对中的一部分、及其它部分分别训练所述滤波器和特征提取 器。