[发明专利]一种船舶视频检测样本采集方法

说明书

本发明提供了一种船舶视频检测样本采集方法，包括视频船舶目标检测方法；船舶目标跟踪方法；运动目标检测方法；样本采集策略。本发明能够自动从海事CCTV监控视频拍摄的实时视频和历史录像视频中采集高质量的船舶目标数据集，为基于深度学习的船舶目标检测提供数据支撑，在目标检测的过程中积累数据，不断提高深度学习的效果。

技术领域

本发明属于船舶CCTV视频智能监控领域，具体涉及一种船舶视频检测样本采集方法。

背景技术

近年来，随着深度学习算法在船舶视频目标检测领域的应用，检测精度和效果都远超过去基于模板匹配、运动检测、传统机器学习等方法，但是深度学习目标检测的效果是建立在大量训练数据基础上的。海事领域应用深度学习进行船舶目标检测目前还处于起步阶段，没有足够的船舶检测数据集，公开的通用数据集如COCO、VOC、CIFAR，其中船舶的图片与海事监管中船舶的图片相差较大，直接拿来训练在实际检测中的效果达不到要求。因此需要在海事CCTV视频监控系统的采集专用的船舶检测数据集，但在海量的监控视频中采集什么样的图片作为数据集依然是一个难题。

发明内容

发明目的：本发明所要解决的技术问题是针对现有技术的不足，提供一种船舶视频检测样本采集方法，结合视频船舶目标检测、船舶目标跟踪、运动目标检测的输出，样本采集策略融合三者的输出结果，判断当前视频帧是否需要采集。

所述的视频船舶目标检测包括使用海事CCTV监控视频拍摄的实时视频和历史录像视频，使用深度学习方法，如YOLO、SSD、FastRCNN等检测视频中的船舶目标，输出目标的检测矩形框信息(位置信息、大小信息、类别信息、置信度)。

所述的船舶目标跟踪根据船舶目标检测的输出，对视频中所有船舶目标进行跟踪，输出船舶目标的跟踪矩形框信息(位置信息、大小信息、类别信息、跟踪匹配结果、跟踪ID)。

所述的运动目标检测包括使用海事CCTV监控视频拍摄的实时视频和历史录像视频，对视频中的运动目标进行检测，输出运动目标的矩形框信息(位置信息、大小信息)。

所述的样本采集策略包括使用海事CCTV监控视频拍摄的实时视频和历史录像视频，判断视频流中哪些帧需要采集，采集的一帧视频为一张图片，采集后形成多张图片组成的船舶图片数据集，为深度学习提供数据支撑。

为了实现上述目的，本发明具体步骤如下：

步骤1、视频船舶目标检测：基于深度学习方法，在海事CCTV视频中检测出船舶，输出船舶目标的外接矩形框信息；

步骤2、船舶目标跟踪：跟踪检测到的船舶目标，即判断当前帧的目标与上一帧的目标是否为同一目标，输出匹配的跟踪目标、消失目标；

步骤3、运动目标检测：采用背景差分的方法，检测视频中的运动目标，输出目标的外接矩形信息；

步骤4，样本采集策略：结合步骤2和步骤3的输出信息，判断当前视频帧的检测效果，当检测效果不满足要求且离上一次采集时间间隔超过阈值时，采集当前视频帧作为船舶图片样本集。

步骤1包括：

步骤1-1，预处理：从海事CCTV实时监控视频或录像视频中采集视频帧，对视频帧进行缩放和归一化处理；

步骤1-2，将预处理后的视频帧送入船舶目标检测深度网络进行计算(深度网络需要通过大量的船舶图片样本进行训练)，计算结果为检测框，包括框的中心坐标和长、宽，置信度，框所属的类别以及类别置信度

步骤1-3，根据设定的阈值，剔除检测框置信度和类别置信度低于阈值的输出框，然后通过非极大值抑制(抑制检测框置信度不是极大值的元素)删除重合的框，输出最终的船舶目标检测框；

步骤2包括：