[发明专利]用于变电站巡检机器人的电表识别、定位及三维建图方法

权利要求书

1.用于变电站巡检机器人的电表识别、定位及三维建图方法，包括，其特征在于：

电表的识别定位是指机器人在构建地图的时候对变电站中的各种表盘的识别，电表的局部三维重建是指在上述识别定位的基础上的局部重建，以实现人机交互；

所述的巡检机器人的电表识别重建方法，包括以下步骤：

S1.巡检机器人通过视觉传感器获取变电站环境中的原始彩色图像；

S2.通过基于深度学习的物体检测方法检测上述所述原始彩色图像中是否有表盘的存在；

所述的步骤S2中，包括以下步骤：

S21.对S1中的图像进行卷积、激活、池化处理，提取图像的特征图；

S22.在S1中的原始彩色图上铺设锚框，用softmax损失函数对这个锚框进行前景和背景的二分类，其中前景指含有表盘的锚框，背景指不含有表盘的锚框；

S23.利用smoothL1损失函数修正S22中得到的前景锚框，也就是含有表盘的锚框；

S24.将S23中得到的前景锚框映射到S21的特征图上，得到含有锚框的特征图；

S25.对S24中锚框进行多分类与回归，多分类指的是这个锚框包住的是什么类型的表，回归指的是确定锚框最终的精确位置；

如果上述步骤之后识别出有电表的存在，就开始进行步骤S3中的稠密三维重建，如果没有识别出电表的存在就进行稀疏点云的重建；

S3.基于S2中的识别与定位结果，如果有电表的存在就进行电表的稠密重建，如果没有就进行场景的稀疏重建；

所述的步骤S3中，对没有电表的地方进行普通的稀疏点云重建，对含有电表的图，对电表局部进行单张图片的三维稠密重建，采用深度学习的方法，包括以下步骤：

S31.对S2中识别出有电表的彩色图像，将其送入编码器网络以获得图像特征；

S32.解码器网络将S31得到的图像特征和任意深度作为输入，生成该深度下的RGB-σ图；

S33.由S32就可以得到一个由多个平面组成的的三维表达，即在一次完整的前向传播中，编码需要推理一次，而解码需要推理N次获得N个平面；

S34.获得上述三维表达后，渲染电表在视觉传感器位姿下的视角；

S35.最后是尺度校准，由于S31输入的是单一图像，因此深度尺度在一个尺度因子范围内是模糊的，所以需要计算一个尺度因子使网络预测的尺度与从运动中构建的尺度进行对齐，通过从运动中构建获得每个图片的可见的三维点P以及网络预测的深度图z计算尺度因子获得尺度因子s之后，通过t'＝t·s对相机的位移进行校准，获得准确的深度值用于重建；

S36.将上述电表的三维图与激光雷达获得的稀疏图通过卷积空间传播网络的方法进行融合，最终将其展示到可视化平台供管理人员使用。

S4.对整个变电站进行上述步骤S1，S2，S3的操作，完成场景稀疏图和电表稠密图的重建，并将其传到视觉可视化平台，从而进行进一步的控制管理。

2.根据权利要求1所述的用于变电站巡检机器人的电表识别、定位及三维建图方法，其特征在于：

所述的步骤S43需要以下两步：

首先，利用单应性扭曲建立像素点间的对应，从视觉传感器射出一条光线，这条光线与电表图片的一个像素点相交，延长这条射线，让它与视觉传感器视锥的各个平面相交，相交点的RGB-σ值可以通过双线性采样获得；然后，利用体积渲染将上述光线上的点渲染到目标图片像素点上，获得该像素点的RGB值与深度。