[发明专利]一种基于深度学习的船舶作业违章行为实时侦测方法

说明书

本发明公开了一种基于深度学习的船舶作业违章行为实时侦测方法。该方法包括步骤先对违章图像数据采集，用于训练一级检测模型和二级检测模型，分别对人员特征检测识别和违章特征检测识别，然后基于这两种模型对船舶中实时监控拍摄的图像进行实时检测，得到人员特征检测结果和违章特征检测结果，再与对应的违章行为进行匹配识别，输出识别判断结果。该方法中使用了改进的YOLOV4模型，能够对船舶上人员抽烟、玩手机、未穿工作服等细节性违章行为进行智能化实时检测，具有良好的实时性、精确性以及鲁棒性，有效的解决了船舶作业违章行为实时侦测问题，同时具有较短的检测时间和和较高的检测精度。

技术领域

本发明涉及船舶管理技术领域，尤其涉及一种基于深度学习的船舶作业违章行为实时侦测方法。

背景技术

随着社会经济的发展，交通运输事业在迅速发展，运输船舶在数量、吨位和航速上逐年增长，船舶行驶安全也越来越受到重视，每年因为船舶工作人员的违章行为导致的事故时有发生，各大机构和公司都在致力于预防和及时制止违章行为的发生，排除安全隐患。传统的预防方式主要为开船前严格检查和通过摄像头人工监测，人工观看监控方法无法对海量的视频进行有效利用，由于人工疲劳和场景太多，会漏掉许多违规行为，进而带来安全隐患。

现有技术中，对于运输船舶各类作业操控人员的违章监控行为缺乏实时的人工智能监测手段，不能实时分辨监测出违章行为的细小细节，以及提供准确有效判决和报警。

发明内容

本发明主要解决的技术问题是提供一种基于深度学习的船舶作业违章行为实时侦测方法，解决现有技术中对船舶操控违章行为缺乏人工智能监测以及难以监测小目标的问题。

为解决上述技术问题，本发明采用的一个技术方案是提供一种基于深度学习的船舶作业违章行为实时侦测方法，包括：步骤一：采集训练图像数据，对船舶中监控摄像头拍摄的违章图像数据进行采集和处理，构建违章图像数据库；步骤二：训练一级检测模型，从所述违章图像数据库中选取初级训练图像，输入到一级检测模型进行人员特征检测训练，直至所述一级检测模型收敛，则所述一级检测模型被训练为人员特征检测识别模型；步骤三：应用一级检测模型，继续利用初级训练图像，输入到已经训练好的所述一级检测模型中进行检测，根据有效检测出的人员特征，对初级训练图像进行裁剪获得二级训练图像；步骤四：训练二级检测模型，将二级训练图像输入到二级检测模型进行违章特征检测训练，直至所述二级检测模型收敛，则所述二级检测模型被训练为违章特征检测识别模型；步骤五：实时采集数据检测，船舶中监控摄像头实时采集监控图像，输入到已经训练好的人员特征检测识别模型和违章特征检测识别模型进行检测，对应输出人员特征检测结果和违章特征检测结果；步骤六：操控违章行为识别，将所述人员特征检测结果和违章特征检测结果与对应的违章行为进行匹配识别，输出识别判断结果。

优选的，在步骤一中，所述违章图像数据处理包括筛选图像、裁剪图像和/或标注图像。

优选的，在步骤二中，在初级训练图像输入到一级检测模型之前，对初级训练图像进行尺度缩放处理，得到统一尺寸的统一训练图像，然后将统一训练图像输入到一级检测模型进行训练。

优选的，在步骤二中，所述一级检测模型是基于YOLOV4网络改进的第一YOLOV4网络改进模型。

优选的，在步骤二中，将统一训练图像送入所述第一YOLOV4网络改进模型的不同输出通道和不同输出尺度的卷积块中，获得对应的池化特征图，将所述池化特征图进行残差连接和多尺度融合，得到最终的三种不同尺度的人员检测特征图输出。

优选的，在步骤三中，根据各场景人员检测结果，对人员检测图像进行裁剪，获得包含人员目标的二级训练图像，对所述二级训练图像进行标注，由此构建二级模型训练数据库。

优选的，在步骤四中，所述二级检测模型是基于YOLOV4网络改进的第二YOLOV4网络改进模型。