[发明专利]一种用于设备故障巡检的红外视觉智检的拍摄方法

权利要求书

1.一种用于设备故障巡检的红外视觉智检的拍摄方法，其特征在于，机器人上安装一双镜头相机，两个镜头分别为可见光镜头和红外镜头，并可实现像素级别自动对齐；可见光镜头安装于云台之上，云台可以控制相机拍摄的俯仰角和偏航角，相机可以变焦和执行拍摄命令；具体步骤分为两阶段：

第一阶段，通过最广角状态拍摄，即在某个作业点上，以最广角状态拍摄该作业点全景图；并使用计算机视觉中的深度神经网络对图像进行检测和分割，识别其中的设备数量、位置，并用红外镜头进行测温，大体判断哪些设备可能有故障；

第二阶段，是对全景图中的某一个设备单独进行拍摄，具体是通过云台控制相机拍摄的俯仰角、偏航角进行中心构图，并通过对相机调焦，使该设备大小占相机屏幕大小的一定比例，然后执行拍摄，拍摄完后对该设备图像进行分割，以识别设备区域；并进行测温，判断故障并通过设备名称编号对应到具体设备上；拍摄完一个设备后将相机调整为初始最广角状态，然后再次控制相机拍摄的俯仰角、偏航角、焦距，以实现对全景图中下一个设备的拍摄；

其中，控制过程为依次改变俯仰角、偏航角、焦距；在相机改变俯仰角时，相机拍摄一段视频流；拍摄完视频流后，等间隔地截取其中视频流中的一些图片并进行检测；机器人自动选择检测框最接近屏幕垂直方向中心的图片和其对应的俯仰角，控制云台使相机俯仰角旋转至该角度并固定；改变相机偏航角的方式类似，选择检测框最接近屏幕水平方向的图片和其对应的偏航角，控制云台使相机旋转至该偏航角并固定；改变相机焦距时，同样拍摄视频流，并截取设备检测框面积最接近相机屏幕面积80%的图片，将该图片作为该设备最终满足中心构图的图片并进行保存；

所述使用深度神经网络对图像进行检测和分割，其中，检测所用网络为fasterrcnn网络，包括卷积层、RPN网络、ROI池化层，损失函数为分类的softmaxloss与回归的smoothL1loss之和；分割所用网络为maskrcnn网络，包括卷积层、RPN网络、ROIAlign层、FCN层，损失函数为分类、回归与mask分支的损失之和；两者均用ResNet框架和随机梯度下降法进行训练；

所述的故障判断，是通过红外镜头计算出图像中设备区域每一个像素点的温度；通过所有设备区域像素点的温度判断该设备是否处于故障中；

巡检机器人在巡检之前，内置待检设备区域地地图以及作业点；当机器人到达某作业点时，通过拍摄的该作业点的全景图，进行一次判断，通过地图判断其中的设备的名称与编号；同时在拍摄完每一个设备的图像后，通过对设备上的铭牌进行OCR识别，并将识别结果作为第二次判断；经两次判断后，相机即可将故障检测对应到每一个具体设备，以实现对每一个设备是否故障的精确判断。

2.根据权利要求1所述红外视觉智检的拍摄方法，其特征在于，所用的检测和分割的算法分别为计算机视觉中的fasterrcnn和maskrcnn算法；同时使用OCR光学字符识别技术识别设备铭牌上的文字，其中包括设别名称与编号等信息。

3.根据权利要求2所述红外视觉智检的拍摄方法，其特征在于，所述使用深度神经网络对图像进行检测和分割，是通过大量事先进行人工标注检测和分割结果的图像，训练所述深度神经网络；该训练完成的深度神经网络即可用于在巡检设备拍摄到设备图像即时其进行检测和分割。