[发明专利]一种基于空地协同视角的焦点目标检测方法

说明书

本发明公开了一种基于空地协同视角的焦点目标检测方法，所述方法基于一个高空视角的无人机搭载的高空相机和由多个地面行人佩戴的穿戴相机的第一视角，利用空地协同的视角，通过检测、关联并融合场景中多人的视觉注意力场景中实现焦点目标的定位；步骤S1：输入N+1个时间同步的视频，时长为步骤S2：利用滑动窗口技术将S1步骤获取的视频全部一致地分割为时长为T的短片段；步骤S3：利用人本物检测算法和多视角数据融合方法来从当前片段的每一帧中获取候选焦点目标等步骤，本发明通过多个第一视角的摄像头捕捉同一位置的周围人员和环境细节，利用上述空地协同视角实现场景中焦点目标的检测。

技术领域

本发明属于计算机视觉领域，尤其涉及一种基于空的协同视角的焦点目标检测方法。

背景技术

本发明中涉及到的背景技术有：

(1)视频联合分割和显著性检测：视频协同分割是从两个或多个视频中同时分割出一个共同类别的对象。在实践中，几乎所有现有的视频协同分割方法都是基于对象的外观信息。一些方法还利用了补充运动特征，并考虑了时间信息对目标进行联合分割(参考文献。与本方法不同的是，视频协同分割在不同的视频中寻找所有的公共对象，包括人类主体，而不考虑被检测的主体是否吸引了周围其他主体的兴趣。

(2)视频显著性检测：视频显著性检测旨在识别具有最高感知显著性的对象或区域。许多基于机器学习的方法，如稀疏性重建、低秩一致性和基于深度学习的模型已经被开发用于视频显著性检测。它们中的大多数使用外观和运动特征来分离突出的目标和非突出的区域，并且通常针对单个视角。显著性检测是识别感知显著性物体或区域的通用方法，此方法通过周围人的共同视觉注意来识别焦点目标。

(3)通过注视估计的视觉注意：现有的许多方法旨在模拟人类视觉注意机制，以识别自然或社会环境中的显著区域/对象。然而，现有方法多处理靠近相机的场景，在其视场中只有少数对象。此方法通过结合顶视图视频和多个第一视角视图视频来解决这个限制。

(4)多视点视频分析：多视图视频的协同分析具有重大意义，然而现有的多视图视频协同分析视场有限，且对于佩戴可穿戴相机的需求影响了其在视频监控系统中的可用性。目前，结合顶部和第一视角摄像头的设置已被应用于协同视频分析。本方法将高空视图和第一视角视图相结合，以实现监控系统中的实际应用，即视频监控中的重要人物检测。

发明内容

为了解决现有技术，本发明的目的是提出新的摄像头放置方法并开发新的视频分析算法，以更好地检测场景中的焦点目标，从而完成基于多视角视频监控的异常目标行为检测。具体来说，本发明采用了一个由无人机搭载的高空相机(提供高空视角)，以及多个由地面行人佩戴的穿戴相机(提供第一视角)，利用空地协同的视角，通过检测、关联并融合场景中多人的视觉注意力(观察目标与观察范围)，完成场景中焦点目标(人物)的定位。本发明可针对无人机拍摄的高空视图及水平相机捕捉的第一视角视图进行处理和分析，从而实现场景焦点目标的快速检测和准确识别，完成基于视频监控的群体活动分析。

本发明采用如下技术方案予以实施：

一种基于空地协同视角的焦点目标检测方法，所述方法基于一个高空视角的无人机搭载的高空相机和由多个地面行人佩戴的穿戴相机的第一视角，利用空地协同的视角，通过检测、关联并融合场景中多人的视觉注意力场景中实现焦点目标的定位；包括如下步骤：

步骤S1：输入N+1个时间同步的视频，时长为

步骤S2：利用滑动窗口技术将S1步骤获取的视频全部一致地分割为时长为T的短片段；

步骤S3：利用人物检测算法和多视角数据融合方法来从当前片段的每一帧中获取候选焦点目标；

步骤S4：利用能量函数计算每一个候选焦点目标在每一个视角中的能量值，并将多视角能量值结合计算当前帧能量值