[发明专利]多相机目标追踪方法、系统、装置及存储介质

权利要求书

1.一种多相机目标追踪方法，其特征在于，应用于与相机阵列相关的电子装置，所述相机阵列中的每个相机同步拍摄，并以每次各相机拍摄到的各图像帧作为一图像序列；所述方法包括：

在一图像序列对应配置有用于从其中的图像帧框选追踪目标的一初始边界框的情况下，利用该初始边界框、及其在中心不变而缩放尺度变化情况下得到的多个备选边界框分别在该图像序列中的每个图像帧中分别提取多个原始图像区域；

将每个图像帧的多个原始图像区域输入至特征提取器，以得到对应的每个图像帧的多个特征图；

利用滤波器对每个图像帧的多个特征图进行滤波，以得到对应的多个响应图；

在根据每个图像序列中对应每个相机的一图像帧所得到的多个响应图中，获得包含最高得分的目标点的响应图来作为跟踪结果获取依据，并以该最高得分作为对应的相机在该图像帧的得分的生成依据；以该目标点在该图像帧中的相应像素点所在位置为边界框参考点，并以得到该跟踪结果获取依据所使用的备选边界框的尺度为边界框尺度，结合所述边界框参考点及边界框尺度以构建用于在该图像帧中提取出追踪结果的追踪结果边界框；

将各相机在该图像序列中对应图像帧的得分与一预设阈值比较，据以判别相机是否存在追踪目标被遮挡情况；

对于判别为存在追踪目标被遮挡情况的相机的第一类图像帧，通过多相机间约束方法修正对应的追踪结果边界框，并据以在第一类图像帧中提取追踪结果；对于判别为不存在追踪目标被遮挡情况的相机的第二类图像帧，利用对应的追踪结果边界框提取得到追踪结果。

2.根据权利要求1所述的多相机目标追踪方法，其特征在于，所述滤波器和特征提取器是经预训练得到的，所述预训练包括：

一或多次迭代计算，每次迭代计算包括：

在随机选取的追踪目标的视频中，随机选取预定数量图像帧，用于生成多个训练样本对，每个训练样本对包括：根据参考标准在所述随机选取的每个图像帧中提取的原始图像区域、及根据原始图像区域得到的响应图；或者，每个训练样本对包括：对该原始图像区域进行偏移得到的图像区域、及根据所述偏移得到的图像区域生成的响应图；

使用所述多个训练样本对中的一部分、及其它部分分别训练所述滤波器和特征提取器。

3.根据权利要求2所述的多相机目标追踪方法，其特征在于，所述滤波器在训练时固定所述特征提取器的参数，以对滤波器最小化所述特征提取器的第一目标函数；和/或，所述特征提取器在训练时固定所述滤波器的参数，以对特征提取器最小化所述滤波器的第二目标函数。

4.根据权利要求2所述的多相机目标追踪方法，其特征在于，所述视频来自目标跟踪数据集，所述目标跟踪数据集包括：OTB数据集、VOT数据集、Temple Color 128数据集、VIVIDTracking数据集、及UAV123 Dataset数据集中的一种或多种组合。

5.根据权利要求1所述的多相机目标追踪方法，其特征在于，所述滤波器通过目标训练集进行在线训练以得到更新。

6.根据权利要求5所述的多相机目标追踪方法，其特征在于，所述滤波器的在线训练包括：

根据各相机采集的图像帧生成加入所述目标训练集的训练样本，所述训练样本包括从该图像帧提取的原始图像区域；

将训练样本输入滤波器的第三目标函数，其中，所述滤波器的第三目标函数：

其中，表示第i个相机第j个训练样本滤波得到的响应图，表示第i个相机的第j个训练样本的参考标准对应的响应图；表示根据第i个相机第j个训练样本获取追踪结果时的得分；

将目标函数转换至频域，表示为：

其中，conj()表示求复数的共轭；^表示傅里叶变换；

利用梯度迭代求解出并使用共轭梯度的方法来优化目标函数E(f)，以训练滤波器。

7.根据权利要求5或6所述的多相机目标追踪方法，其特征在于，还包括：对所述目标训练集进行更新动作，其包括：在每个相机每采集预定数量图像帧时，对于当前判别为不存在追踪目标被遮挡情况的相机，将其追踪结果作为训练样本加入至该目标训练集中以作更新。