[发明专利]一种基于场景结构的行人实时检测系统及方法

说明书

本发明涉及一种基于场景结构的行人实时检测系统及方法，主要包括以下5大模块：入口模块、数据收集模块、预处理模块、检测分割模块、输出模块。本发明主要完成行人检测、分割、场景出入口和道路分布概率图任务和功能。用户可利用该系统，获取不同监控场景下的场景结构与行人信息并从中获取行人的检测以及分割并得到场景出入口以及道路分布概率图。

技术领域

本发明涉及一种基于场景结构的行人实时检测系统，具体说是一种综合考虑监控场景实际场景空间结构和深度信息的行人实时检测系统，并可提供行人分割实例以及出入口和道路概率估计，属于监测安保领域。

背景技术

目前，监控摄像机所采集的场景信息主要被用于提取视觉特征，来完成对于行人的自主检测、自动跟踪等任务。然而实际应用中，监控场景的空间几何结构是固定的，监控摄像机的位置与俯仰角度一般是固定的，这些信息在实际的行人检测中始终被忽视，没有得到很好的利用。

对于监控摄像机获取的场景信息的视觉特征提取，主要分为两类，一种是外观视觉特征，另一种是深度视觉特征。外观视觉特征描述的是图像内部各个区域在颜色、形状、大小等方面的整体特征，深度视觉特征指的是二维图像内计算得到的实际三维场景下的深度或者高度特征。外观视觉特征是进行视觉任务的基础，其在提取速度上较为快速，有着较高的区分度，但其受到环境的光线条件变化、动态遮挡和平面反射的影响比较严重，对外界环境变化导致的图像采集差异比较敏感，因此在行人检测中经常造成漏检和误检。深度视觉特征在提取中需要额外的深度信息，可以计算出对应图像区域的深度或高度，是进行视觉任务重要的辅助特征信息。深度视觉特征基于光场深度数据，受光照的影响较小，对于不同时段的鲁棒性更强，对于平面反射造成的干扰也有一定的鉴别力。目前，行人检测研究的主要问题是检测算法的实时性和准确性，使得特征需要极高的鉴别力。

目前实时性的行人检测技术已经取得了很多研究成果，但是在准确性的方面还存在一些困难，其中不仅有计算机视觉领域共同的一些经典难题，也有着深度学习技术进行检测的固有缺陷。如何在光线不断变化的条件下进行实时性的准确行人检测是安保领域非常有意义的问题。当摄像机在监控场景下工作，基于深度学习的检测算法一般是提取图像中的视觉特征来完成行人的检测，但由于场景的复杂性不一，预训练的深度神经网络不能解决诸如平面反射等问题，经常会造成漏检和误检，这降低了行人检测的准确率。对于更准确的实时行人检测算法的研究依然是目前的研究重心之一。

此外，目前对于行人识别的应用，大多都是使用各种技术去提取图像中的视觉特征，这一特征虽可以完成大部分视觉任务，但是并不完全符合人类进行视觉任务的方式与规律，如何有效利用图像内与图像外的信息，也是目前计算机视觉领域核心问题的发展方向之一。

本发明着眼于高准确率的实时行人检测需求，以提高监控系统对多种场景下对于人群的流向追踪、舆情控制的应对能力。利用固定摄像机的空间坐标和俯仰角度，通过搭载的光场相机获得实时的深度数据，结合实时视频输入提供的视觉特征，可计算出多时段下的背景模板。进一步的，使用背景模板与深度数据辅助检测，将减少光线条件变化负面影响，对于平面反射问题也可以得到良好的解决，进而得到了更为准确的行人检测，为多时段多背景下的行人监测和预警提供了技术支持。

科学研究方面，满足了多种基于检测的视觉任务的研究需要，提供了一个准确率高、实时性强的多时段多背景的行人检测系统，并提供了对应场景下的道路估计，为城市智能管理提供了实质性的帮助。

发明内容

本发明技术解决问题：克服现有技术的不足，提供了一种基于场景结构的行人实时检测系统，对场景信息进行充分利用，以保证行人检测的精度。

本发明采用如下的技术方案：

一种基于场景结构的行人实时检测系统，包括：入口模块、数据收集模块、预处理模块和检测分割模块；其中：