[发明专利]基于深度学习用于高空巡检下的挖掘机检测方法

权利要求书

1.基于深度学习用于高空巡检下的挖掘机检测方法，包括以下步骤：

1)：从网络上抓取和通过飞行器实地采样的方式获取带有挖掘机目标对象的图片制作成数据集；

2)：用神经网络构建检测框架，设定神经网络的输入尺寸为608*608，通道数为3；骨干网络部分采用43层卷积结构的全卷积神经网络，卷积过程的计算策略为：

其中w_out为输出特征图的大小，w_in为输入特征图的大小，F为卷积核大小，stride为卷积步长，padding为特征图的填充区圈数，卷积步长为1时计算策略为’SAME’,卷积步长为2时计算策略为’VALID’；选取张量尺寸为38*38*18的特征图和像素为76*76*18的特征图进行运算；

卷积后的激活函数采用leaky ReLUs,公式为：其中a_i设定为5；在leaky ReLUs激活函数前加上batch norm,对激活层的输入做归一化处理，转换为均值为0，方差是1的正态分布，并对转换后的x进行了scale加上shifty操作，y＝scale*x+shifty；scale和shifty的值均通过训练学习得到；

3)：检测框架包括自底向上路径、自顶向下路径和侧边路径，在自底向上的路径中历经4次下采样操作；通过1*1和3*3的卷积核组合卷积来提取特征，采用shortcut结构跨层传递梯度，公式为：H(x)＝F(x)+x，其中F(x)为每个1*1和3*3组合模块卷积后的输出，x为模块的输入，H(x)为最终输出以及下一组合模块的输入；

自顶向下路径中经历一次上采样操作，采用最临近插值法实现空间分辨率的两倍扩展；侧边路径将上采样获得的76*76尺寸特征图与对应的自底向上输出的最高层特征图进行叠加；

4)：通过k-means方法聚类六种锚框，即设置聚类点为6个，聚类的距离公式以IOU值表示用以替换欧氏距离,即：d(box，centroid)＝1-IOU(box，centroid)；获得(14,20)、(34,39)、(37,58)、(81,82)、(135,169)、(202,394)共6种大小不同的锚框；将(81,82)、(135,169)、(202,394)三种尺寸的锚框分配到38*38的特征图运算和匹配，将(14，20)、(34,39)、(37,58)三种尺寸的锚框分配到76*76的特征图运算和匹配；

5)：训练检测器，设置每个单元格放置三个锚框，每个锚框的信息维度为6，6＝4+1+1，4为锚框的坐标信息(x,y,w,h)和1个置信度加1类物体分类；边界框的位置预测采用logistic方法：

b_x＝σ(t_x)+c_x

b_y＝σ(t_y)+c_y

其中c_x,c_y是网格的坐标偏移量，p_w,p_h是锚框的边长，b_x、b_y为预测中心点在特征图中的坐标信息；b_w、b_h为预测锚框的宽和高；t_x、t_y为网络学习目标的坐标信息；t_w、t_h为网络学习目标的相对尺度；

更新模型所参考的损失函数由以下三部分组成：

其中coordErr为坐标误差，iouErr为IOU误差，clsErr为分类误差；

在coordErr中，xy和wh的损失分开表示，wh值的loss由均方误差损失表示，其余xy值的loss和IouErr以及clsErr皆由二值交叉熵表示；优化器选用Adam实现梯度下降；使用了数据增广和迁移学习方法实现模型性能的改善，并引入了多尺度训练的方法提高模型的鲁棒性，使模型以32的倍率在320至608的输入尺寸下按设定的训练参数随机输入网络训练。

2.如权利要求1所述的基于深度学习用于高空巡检下的挖掘机检测方法，其特征在于：建立数据集时，采用增广策略对图片数量进行增广，增广策略包括随机剪裁图像，调整图像曝光率范围，调整图像饱和度范围，调整图像旋转角度范围；增调整曝光率范围为1.5，饱和度范围为1.5，图像旋转角度范围为30°。

3.如权利要求1或2所述的基于深度学习用于高空巡检下的挖掘机检测方法，其特征在于：采用Pascal voc 2007先行进行预训练操作，预训练获得训练权重；在预训练过程中，总训练轮次设定为50020，初始学习率0.001，在迭代次数为40000，45000时分别下降10倍；然后在GPU主机上对含挖掘机目标的数据集进行训练，训练在预训练得到的权重基础上进行，经过样本输入后训练最终获得模型权重文件。