[发明专利]一种多类别多尺度多目标抓拍方法及系统

说明书

本发明公开了一种多类别多尺度多目标抓拍方法及系统，属于人工智能与计算机视觉技术领域，包括如下步骤：获取来自杂场景的全景视频处理帧；进行智能实时多类别多尺度多目标检测；进行逐类别在线多目标跟踪；对抓拍去重择优；将抓拍结果传输到服务器或数据中心。实现了在一台前端摄像机上，实现对存在着多个类别、多种尺度、众多目标的视频进行实时检测分析，以及高效地获取到分门别类的、图像质量较高的、低重复冗余的目标对象抓拍结果。

技术领域

本发明属于人工智能与计算机视觉技术领域，具体是涉及到一种多类别多尺度多目标抓拍方法及系统。

背景技术

传统的人工肉眼安防监控的方式，或者将监控画面回传给服务器的方式已经无法及时“消化”源源不断的海量视频监控数据，智能化的目标抓拍需求越来越迫切。人们采取了一些手段改进传统的安防监控技术：

在专利CN201911235029.7中，公开了一种目标抓拍方法、装置及系统，采用枪机和球机相结合的方式，通过对枪机的第一监控画面与球机的第二监控画面进行目标特征匹配，对球机中匹配成功的至少一个待抓拍目标进行抓拍，降低目标抓拍的重复率。但是，当第一监控画面中的目标较多且各类目标混杂时，需要进行多次特征比对，且涉及球机拍摄参数的转换与机位的调整，抓拍效率并不高，虽然对于简单场景能在一定程度上提高抓拍目标的准确性、降低重复抓拍，但对于复杂场景则容易引起因特征比对等操作时延过长而遗漏抓拍，或因发生特征匹配失误而大量重复抓拍。

在专利CN201911356315.9中，公开了一种基于YOLOv3的视频结构化方法及系统，实现在人、车混行的复杂环境下，对行人、车辆实时检测，它需要通过客户端采集视频流文件，将视频帧传输到服务器，由服务器完成检测任务及目标属性提取，最终再将其返回给客户端。虽然该系统利用Tornado框架或Flask框架构建了从多个客户端发送视频帧到服务器的数据队列，但服务器仍然不可能及时处理庞大规模的数据，面临着在大并发处理情形下系统崩溃的风险，无法有效降低数据传输压力和存储压力。

现有技术的不足在于，目前市面上很多摄像机往往只能进行单一类别甚至是特定单一目标的抓拍，对于行人、机动车、非机动车混行的复杂场景，则需要多个摄像机才能对他们进行同时布控，在行人、机动车、非机动车混行的复杂场景中，无法在一台前端摄像机上，实现对存在着多个类别、多种尺度、众多目标的视频进行实时检测分析，高效地获取到分门别类的、图像质量较高的、低重复冗余的目标对象抓拍结果。以及，由于其检测和跟踪的精准程度并不能尽如人意，容易导致较多的抓拍遗漏或重复冗余抓拍，而且时延较大。

发明内容

本发明要解决的问题是提供一种多类别多尺度多目标抓拍方法及系统，实现在一台前端摄像机上，实现对存在着多个类别、多种尺度、众多目标的视频进行实时检测分析，以及高效地获取到分门别类的、图像质量较高的、低重复冗余的目标对象抓拍结果。

本发明的内容包括：

一种多类别多尺度多目标抓拍方法，包括如下步骤：

S1：获取视频处理帧

S11：利用全景相机拍摄复杂场景获得全景视频流；

S12：利用嵌入式解码芯片对所述的全景视频流进行解码，获得相应的全景视频帧；

S13：对所述的全景视频帧进行丢帧处理，得到视频处理帧；

S14：将所述的视频处理帧复制一份，然后利用嵌入式硬件加速模块将其缩小到480×480像素大小的尺寸，得到视频处理帧副本；

S2：进行智能实时多类别多尺度多目标检测

将所述视频处理帧副本喂入部署在嵌入式开发板的目标检测神经网络，获得所约定类别的各个目标对象在所述视频处理帧副本中的目标检测框；所述的约定类别，包含但不限于自行车、摩托车、小轿车、公交车、卡车、三轮车、行人、车牌和人脸；