[发明专利]一种基于深度学习的船舶作业违章行为实时侦测方法

权利要求书

1.一种基于深度学习的船舶作业违章行为实时侦测方法，其特征在于，包括：

步骤一：采集训练图像数据，对船舶中监控摄像头拍摄的违章图像数据进行采集和处理，构建违章图像数据库；

步骤二：训练一级检测模型，从所述违章图像数据库中选取初级训练图像，输入到一级检测模型进行人员特征检测训练，直至所述一级检测模型收敛，则所述一级检测模型被训练为人员特征检测识别模型；所述一级检测模型是基于YOLOV4网络改进的第一YOLOV4网络改进模型；所述一级检测模型在YOLOV4网络模型基础上进行适应性修改，在DarkNet53单元中包括模块input(416,416,3)、模块Conv2D_BN_Mish(416,416,32)，以及以下5个级联的模块：

模块Resblock_body(208,208,64)×1

模块Resblock_body(104,104,128)×2

模块Resblock_body(52,52,256)×8

模块Resblock_body(26,26,512)×8

模块Resblock_body(13,13,1024)×4

还进一步级联有模块Conv×3，以及SPP模块和模块Concat+Conv×3；该SPP模块对特征尺度为13x13的特征图进行空间金字塔池化(SPP)，池化核大小分别为1、4、9；模块Resblock_body(104,104,128)×2、模块Resblock_body(26,26,512)×8和模块Concat+Conv×3对应为三个输出通道分别输出三种池化特征图至PANet单元，然后PANet单元将三种池化特征图进行残差连接和多尺度融合操作；

步骤三：应用一级检测模型，继续利用初级训练图像，输入到已经训练好的所述一级检测模型中进行检测，根据有效检测出的人员特征，对初级训练图像进行裁剪获得二级训练图像；

步骤四：训练二级检测模型，将二级训练图像输入到二级检测模型进行违章特征检测训练，直至所述二级检测模型收敛，则所述二级检测模型被训练为违章特征检测识别模型；所述二级检测模型是基于YOLOV4网络改进的第二YOLOV4网络改进模型；所述二级检测模型是在YOLOV4网络模型基础上进行了适应性修改，第二YOLOV4网络改进模型与第一YOLOV4网络改进模型具有相同的结构，第二YOLOV4网络改进模型与第一YOLOV4网络改进模型的参数不同和检测的目标对象不同，在DarkNet53单元中包括模块input(608,608,3)、模块Conv2D_BN_Mish(608,608,32)，以及以下5个级联的模块：

模块Resblock_body(304,304,64)×1

模块Resblock_body(152,152,128)×2

模块Resblock_body(76,76,256)×8

模块Resblock_body(38,38,512)×8

模块Resblock_body(19,19,1024)×4

还进一步级联有模块Conv×3，以及SPP模块22和模块Concat+Conv×3；该SPP模块对特征尺度为19x19的特征图进行空间金字塔池化(SPP)，池化核大小分别为5、9、13；其中，模块Resblock_body(152,152,128)×2、模块Resblock_body(38,38,512)×8和模块Concat+Conv×3分别输出特征图至PANet单元，然后PANet单元将三种池化特征图进行残差连接和多尺度融合操作；

步骤五：实时采集数据检测，船舶中监控摄像头实时采集监控图像，输入到已经训练好的人员特征检测识别模型和违章特征检测识别模型进行检测，对应输出人员特征检测结果和违章特征检测结果；

步骤六：操控违章行为识别，将所述人员特征检测结果和违章特征检测结果与对应的违章行为进行匹配识别，输出识别判断结果。

2.根据权利要求1所述的基于深度学习的船舶作业违章行为实时侦测方法，其特征在于，在步骤一中，对违章图像数据处理包括筛选图像、裁剪图像和/或标注图像。