[发明专利]一种基于高空视角与地面视角的多目标协同跟踪方法

说明书

本发明公开了一种基于高空视角与地面视角的多目标协同跟踪方法，包括如下步骤：步骤s1，将空地协同视角的两段同步视频分别分割成长度相等的V个小段视频；步骤s2，根据目标检测结果对每个小段视频分别生成不同视角下目标的小段轨迹；步骤s3，计算不同小段轨迹之间的相似性得分；步骤s4，依据相似得分采用联合优化函数进行轨迹关联生成短交叉视图轨迹；步骤s5，重复步骤s2至s4，将短交叉视图轨迹进行连接，从而获得交叉视图长轨迹作为最终的跟踪结果；本发明该方法具有高于现有方法的匹配精度，且获得了很好的跨域性能。

技术领域

本发明属于目标跟踪领域，涉及穿戴相机、无人机同时拍摄的两个视角下的视频的标跟踪，尤其涉及一种基于高空视角与地面视角的多目标协同跟踪方法。

背景技术

本发明中涉及到的背景技术有：

(1)行人目标检测器(参见文献[1])：行人目标检测器作为数据预处理的一个重要组成部分，已经广泛的应用到目标跟踪、行人重定位以及动作识别等各个领域中。目前常用的行人检测器可以分为基于背景建模和基于统计学习的方法两大类。前者必须适应环境的变化，同时受限于相机抖动引起的画面抖动等情况。后者是目前常用的行人检测的方法，通过构建大量的样本来构建行人检测分类器。目前，深度学习在行人检测中的作用不容忽视。其中YOLO检测器被用于本发明来提供对应的目标检测框。

(2)空地协同视角移动相机网络：运动相机技术的进步为视频监控提供了新的视角。无人机可以提供地面上一组对象的俯视图。可穿戴式摄像机可以提供同一组对象的地面视图。本发明中提出了一种新的空地协同视角移动相机网络的问题，其中俯视图可以提供目标全局信息，地面视图可以提供目标局部细节，因此二者可以很好地进行信息的互补，从而为户外监视提供更好的覆盖范围和灵活性。通过该互补网络可以有效应用于协作跟踪、个人/团体活动识别等任务中。

(3)基于空间分布的跨视角多目标关联：由于外观和动作信息无法被利用，俯视视图和地面视图的关联变得十分困难，而基于空间分布的跨视角关联可以借助高空视角和地面视角之间空间位置分布信息，实现目标之间的关联。通过该方法可以更好的对不同视角的数据进行协作分析，从而应用于目标跟踪、行人重识别、动作识别等任务中。

发明内容

本发明的目的是针对同一场景中空地协同视角下的同步视频提出一种联合全局和局部信息的多目标跟踪技术，借助穿戴相机、无人机设备，利用相对简单而有效的策略，从而实现空地协同视角下目标的协同跟踪；本发明可用于在同一场景中利用空地协同视角下相机拍摄的视频，无需限制视角内目标数目的情况下，对地面、高空视角中的目标同时进行跟踪，并将两个视角的目标一一对应。

本发明采用如下技术方案实施：

一种基于高空视角与地面视角的多目标协同跟踪方法，包括如下步骤：

步骤s1，将空地协同视角的两段同步视频分别分割成长度相等的V个小段视频；

步骤s2，根据目标检测结果对每个小段视频分别生成不同视角下目标的小段轨迹；

步骤s3，计算不同小段轨迹之间的相似性得分；

步骤s4，依据相似得分C采用联合优化函数进行轨迹关联生成短交叉视图轨迹；

步骤s5，重复步骤s2至s4，将短交叉视图轨迹进行连接，从而获得交叉视图长轨迹作为最终的跟踪结果；其中：所述短交叉视图轨迹生成过程：

通过相似性得分C获得任意跨时空轨迹片段之间的相似度度量；

根据相似度度量采用如下公式求解：

其中：c_ij表示轨迹片段i和j之间的相似度，可以由步骤三计算得到；a_ij为0-1的二值变量，表示是否两个轨迹片段属于同一目标。