[发明专利]一种基于改进YOLOv3的多场景船员不安全行为检测方法

权利要求书

1.一种基于改进YOLOv3的多场景船员不安全行为检测方法，其特征在于包括以下步骤：

步骤一：构建船员不安全行为数据集：

(1)收集真实发生水运交通事故的船舶监控录像，并将事故发生时的录像进行逐帧分解，截取其中人员进行了不安全行为的图像作为船员不安全行为数据集的第一部分；

(2)用船舶驾驶模拟器模拟洋山港水域，场景包括：离岗、靠泊、能见度不良、船舶会遇、船舶追越五种场景进行模拟驾驶航行实验，选取实验视频中人员进行了不安全行为的图像作为船员不安全行为数据集的第二部分；

步骤二：遍历图像集，使用深度学习图像标注软件labelImg对数据集中每张图像中的船员不安全行为进行人工标注，将待检测目标的位置和类别信息保存起来，将标注后的数据集按照8:2的比例划分为训练集和测试集；

步骤三：在特征提取层之前增加数据增强层，首先对数据以双线性插值为方法、中心点为轴、顺时针为方向、90度为角度的旋转和左右翻转两种方式进行数据增强，其次以在数据直方图中设置裁剪值为0.02，裁剪次数为5次，对数据中直方图数值高于0.02的部分进行裁剪，最后把裁剪掉的部分均匀分布在整个直方图上为方式进行数据增强；

步骤四：构建改进YOLOv3的特征提取网络，将YOLOv3的三尺度检测更改为四尺度检测，增加的尺度为104×104，通过融合四个尺度在特征融合网络内部上采样和引入的负反馈机制采集到的特征，增强特征金字塔的表征能力；

步骤五：构建改进YOLOv3的特征融合网络，具体为在YOLOv3的特征金字塔网络的基础上引入了负反馈机制，增加了新的卷积层，更好的融合了各尺度特征；

步骤1：首先是自底向上的特征融合部分：

(1)将原有的运算增添卷积模块并定义为卷积块，一个卷积块具体为：1×1卷积+1×1卷积+3×3卷积+1×1卷积+3×3卷积+1×1卷积；

(2)在YOLOv3特征提取网络中得到四个特征图F1，F2，F3，F4；F4在经过一次卷积块运算后，得到特征图P4并进行上采样模块采集特征，采集到的特征与F3连接；

(3)F3在连接并经过一次卷积块运算后，得到特征图P3并进行上采样模块采集特征，采集到的特征与F2连接；

(4)F2在连接并经过一次卷积块运算后，得到特征图P2并进行上采样模块采集特征，采集到的特征与F1连接；

步骤2：其次是引入负反馈机制的自顶向下特征融合部分：

(1)特征图D1经过一次卷积块运算后将特征通过与特征图P2相连接进行特征负反馈，再经过卷积块运算后得特征图D2；

(2)特征图D2经过一次卷积块运算后将特征通过与特征图P3相连接进行特征负反馈，再经过卷积块运算后得特征图D3；

(3)特征图D3经过一次卷积块运算后将特征通过与特征图P4相连接进行特征负反馈，再经过卷积块运算后得特征图D4；

步骤六：改进了非极大值抑制算法通过对候选框进行高斯加权得到更精确的结果，具体为将原有的只根据最高置信度挑选候选框改为通过高斯加权得到新候选框的方式，通过迭代标记完所有要保留下来的矩形框，去除冗余候选框，预测最优的目标对象，实现公式如下：

其中M为当前置信度最高的检测框，b_i为待处理框；

步骤七：将训练集数据送入到改进后的模型中进行训练，得到最终模型，设置的迭代次数为10000次，学习率为0.01，批尺寸设置为64，衰减率为0.0005，动量大小设置为0.9，根据训练中损失函数的变化趋势适当调整学习率和批尺寸，直至达到设定的迭代次数时结束训练，保存模型；

步骤八：将测试集中待检测的图像送入到训练好的模型中，模型将检测出来的船员不安全行为目标用矩形框显示出来。