[发明专利]一种基于深度学习的变电站巡检机器人道路场景识别方法

权利要求书

1.一种基于深度学习的变电站巡检机器人道路场景识别方法，其特征在于，包括

步骤一：采集变电站道路场景图像，并构建道路场景图像库，包括

（ 1） 、数据采集：通过变电站巡检机器人采集各个变电站不同光照、不同场景的道路视频；

（ 2） 、构建数据库：从采集的道路视频中提取出清晰且重复率低的视频帧，构建训练集和测试集；

（ 3） 、样本标注：标注出图像中目标的所有像素点，所述目标包括道路、杂草、石头和障碍物；

步骤二：构建卷积编码网络并训练，包括

（ 1） 、载入VGG16网络；

（ 2） 、移除VGG16网络pool4层之后的卷积层与全连接层，并将剩余结构的每层输出通道数降低；

（ 3） 、在每个卷积层之后引入批正则化操作来加速模型收敛；

（ 4） 、对每个池化层pool采用2位二进制数来记录最大池化索引，即滤波窗口中最大特征值的位置，该值用于后续的反卷积解码网络中；

（ 5） 、在网络末尾添加1x1的卷积层，输出通道为目标类别数，同时添加损失层LossLayer和精度层Accuracy Layer，采用交叉熵损失函数作为Loss层的目标函数，计算公式如下：

其中x表示样本，n表示样本总数，y是期望输出，a是实际输出；

精度计算公式如下：

G＝∑_in_ii/∑_it_i (2)

其中n_ii为代表属于类别i正确分类的像素个数，t_i代表类别i的总像素；

（ 6） 、训练卷积编码网络权值，采用迁移学习的方式将VGG16在ImageNet上训练好的权重作为预训练模型来微调编码网络，同时将标签图缩小为模型最终输出尺寸，并采用随机梯度下降法对参数进行迭代调优，同时设置相应的学习率、最大迭代次数、动量参数、权值衰减参数，不断迭代训练直至网络收敛；

步骤三：在卷积编码网络基础上构建反卷积解码网络并训练，包括

（ 1） 、反卷积解码网络由两部分组成，首先搭建第一部分解码网络，载入卷积编码网络；

（ 2） 、移除步骤二添加的1x1卷积层，添加上采样层unpooling，同时在上采样层中使用原先存储的与之维度对应的池化层索引信息，即将编码网络中pool_i的索引值应用于对应的unpooling_i中；

（ 3） 、在上采样层后添加3x3卷积层，卷积层层数和输出通道数与编码网络中对应维度的卷积层一致；

（ 4） 、重复上述2，3两步中的上采样层和卷积层的添加，将编码网络镜像为解码网络，完成第一部分解码网络搭建；

（ 5） 、搭建第二部分解码网络，将pool4层进行反卷积到pool3层维度后与pool3融合，对融合后的特征图再反卷积到pool2层维度后再与pool2融合，将最终融合后的特征图再反卷积到unpooling2维度并与之相加，实现两个编码网络的融合；

（ 6） 、采用中值频率均衡方法来平衡各个类别，计算公式如下：

其中num_i表示该类的总像素个数，count_i表示含有该类的图像数量，w和h表示图像宽高，median(f_i)表示求f_i的中值；

（ 7） 、训练整个编码-解码网络权值，将训练好的编码网络模型作为预训练模型，其他

参数设置与训练编码网络类似，不断迭代使模型收敛；

步骤四：利用测试集测试模型，包括

（ 1） 、将训练的编码-解码网络转化为测试网络，移除Loss层和Accuracy层，添加Softmax层计算各类别概率，计算公式如下：

其中z_k为输入的第k类的特征向量，j表示不同类别；

（ 2） 、选择步骤三中训练精度最高的k个网络权值分别对测试网络进行赋值，通过测试集数据对网络进行测试，并计算其全局精度G、平均精度C和交除并均值IoU，计算公式如下：

G＝∑_in_ii/∑_it_i (6)

C＝(1/n_c1)∑_in_ii/t_i (7)

IoU＝(1/n_c1)∑_in_ii/(t_i+∑_jn_ji-n_ii) (8)

其中，n_ii为代表属于类别i正确分类的像素个数，n_ij为代表属于类别i却被预测为类别j的像素个数，n_c1代表总的类数，t_i＝∑_jn_ij代表类别i的总像素；

步骤五：变电站巡检机器人道路场景识别应用，包括

（ 1） 、通过变电站巡检机器人获取变电站道路场景视频流；

（ 2） 、从步骤四中的k个权值中挑选出全局精度G、平均精度C以及交除并均值IoU最高的权重作为最终网络的权值；

（ 3） 、将巡检机器人获取的道路场景视频流通过最终的网络进行逐帧预测并显示出预测结果。