[发明专利]基于深度学习用于高空巡检下的挖掘机检测方法

摘要

基于深度学习用于高空巡检下的挖掘机检测方法，包括制作高空下视角下的挖掘机数据集，并根据视角与环境特性采用合适的数据增广策略。用神经网络构建检测框架，骨干网络采用43层卷积结构的全卷积神经网络；检测框架包括自底向上路径、自顶向下路径和侧边路径；通过k‑means方法聚类六种锚框，将大尺寸的锚框分配到38*38的特征图运算和匹配，将小尺寸的锚框分配到76*76的特征图运算和匹配；训练检测器。本发明具有检测准确度高，运算负担小的优点。

主权项

1.基于深度学习用于高空巡检下的挖掘机检测方法，包括以下步骤：1)；从网络上抓取和通过飞行器实地采样的方式获取带有挖掘机目标对象的图片制作成数据集；2)；用神经网络构建检测框架，设定神经网络的输入尺寸为608*608，通道数为3；骨干网络部分采用43层卷积结构的全卷积神经网络，卷积过程的计算策略为：其中w_out为输出特征图的大小，w_in为输入特征图的大小，F为卷积核大小，stride为卷积步长，padding为特征图的填充区圈数，步伐为1时计算策略为’SAME’,步伐为2时计算策略为’VALID’；选取张量尺寸为38*38*18的特征图和像素为76*76*18的特征图进行运算；卷积后的激活函数采用leaky ReLUs,公式为：其中a_i设定为5；在leaky ReLUs激活函数前加上batch norm,对激活层的输入做归一化处理，转换为均值为0，方差是1的正态分布，并对转换后的X进行了scale加上shifty操作，y＝scale*x+shifty；scale和shifty的值均通过训练学习得到；3)；检测框架包括自底向上路径、自顶向下路径和侧边路径，在自底向上的路径中历经4次下采样操作。通过1*1和3*3的卷积核组合卷积来提取特征，采用shortcut结构跨层传递梯度，公式为：H(x)＝F(x)+x，其中F(x)为每个1*1和3*3组合模块卷积后的输出，x为模块的输入，H(x)为最终输出以及下一组合模块的输入；自顶向下路径中经历一次上采样操作，采用最临近插值法实现空间分辨率的两倍扩展；侧边路径将上采样获得的76*76尺寸特征图与对应的自底向上输出的最高层特征图进行叠加；4)；通过k‑means方法聚类六种锚框，即设置聚类点为6个，聚类的距离公式以IOU值表示用以替换欧氏距离,即：d(box，centroid)＝1‑IOU(box，centroid)。获得(14,20)、(34,39)、(37,58)、(81,82)、(135,169)、(202,394)共6种大小不同的锚框；将大尺寸的锚框分配到38*38的特征图运算和匹配，将小尺寸的锚框分配到76*76的特征图运算和匹配；5)；训练检测器，我们设置每个单元格放置三个锚框，每个锚框的信息维度为6，6＝4+1+1，4为锚框的坐标信息(x,y,w,h)和1个置信度加1类物体分类；边界框的位置预测采用logistic方法：b_x＝σ(t_x)+c_xb_y＝σ(t_y)+c_yb_w＝p_we^twb_h＝p_he^th其中c_x,c_y是网格的坐标偏移量，p_w,p_h是锚框的边长，b_x,y为预测中心点在特征图中的坐标信息，b_w,h为预测锚框的宽高。而网络学习目标是t_x,y,w,h；本发明更新模型所参考的损失函数由以下三部分组成：其中coordErr为坐标误差，iouErr为IOU误差，clsErr为分类误差；在coordErr中，xy和wh的损失分开表示，wh值的loss由均方误差损失表示，其余xy值的loss和IouErr以及clsErr皆由二值交叉熵表示。优化器选用Adam实现梯度下降。考虑到我们的样本数据有限，还使用了数据增广和迁移学习方法实现模型性能的改善，并引入了多尺度训练的方法提高模型的鲁棒性，使模型以32的倍率在320至608的输入尺寸下按设定的训练参数随机输入网络训练。