[发明专利]基于计算机视觉的巡检机器人仪表图像识别方法及系统

权利要求书

1.一种基于计算机视觉的巡检机器人仪表图像识别方法，其特征在于，步骤如下：

构建待巡检场景的三维空间模型，根据三维空间模型预设巡检机器人的巡检路线，并根据目标仪表的位置、朝向以及光照情况预设拍照点位；

基于设计的巡检路线和拍照点，对指定仪表进行拍摄标定，得到指定仪表的型号、量程、仪表模版图片和拍照点编号；

巡检机器人沿巡检路线按照指定的编号顺序到达各个巡检点，按照预设拍照点位对仪表进行拍摄，将得到的仪表照片编码后根据模板匹配算法进行仪表定位，然后利用指针仪表或数字仪表各自对应的仪表识别算法进行读数识别。

2.如权利要求1所述的基于计算机视觉的巡检机器人仪表图像识别方法，其特征在于，根据模板匹配算法进行仪表定位，具体为：

采用滑窗机制，通过提取仪表模版图片中的图像特征，再与目标图片上的每一个大小相近的滑窗窗口进行比对，得到最相似的部分作为仪表的定位结果。

3.如权利要求1所述的基于计算机视觉的巡检机器人仪表图像识别方法，其特征在于，指针仪表的仪表识别算法，具体为：

采用PointeNet算法，引入以表盘半径中点为中心点的锚点，将所有的锚点边框设计为对角长度为表盘半径，中心点在二分之一半径处的矩形，以所有的矩形锚点边框为基础基于SSD的卷积神经网络进行仪表指针的检测，得到指针候选框。

4.如权利要求3所述的基于计算机视觉的巡检机器人仪表图像识别方法，其特征在于，得到指针候选框后，根据标定好的仪表量程起点的坐标和刻度、中心点的坐标以及终点的坐标和刻度，计算指针仪表具体读数，具体为：

其中，中心点坐标为(x_c，y_c)，量程起点坐标为(x_s，y_s)，刻度为α量程终点坐标为(x_e，y_e)，刻度为β，算法识别结果为(x_r，y_r)。

5.如权利要求1所述的基于计算机视觉的巡检机器人仪表图像识别方法，其特征在于，采用STR算法进行数字识别，包括数字区域的检测和检测区域的数字识别。

6.如权利要求5所述的基于计算机视觉的巡检机器人仪表图像识别方法，其特征在于，所述STR算法进行数字识别的具体步骤为：

(6-1)输入图像为X，通过文字检测网络CTPN进行数字区域的检测，得到数字区域的外接框，从原图中截取得到

(6-2)图像矫正，设定一个基准点数量参数F，通过基准点定位网络寻找图片的上下基准点，并且基于基准点，以整个文字的上下部分平行为目标对原图像进行校正，矫正后得到图像

(6-3)特征提取，输入矫正后图像通过图像特征提取网络，输出特征图V＝{v_i}，i是特征图的通道数；

(6-4)模型序列化语义提取，将特征图V输入一个双向LSTM网络进行语义序列化的特征提取；

(6-5)结果预测，通过基于注意力机制的分类层进行识别结果的预测，得到最终的数字仪表识别结果。

7.如权利要求6所述的基于计算机视觉的巡检机器人仪表图像识别方法，其特征在于，所述(6-4)中，进行特征提取得到：

H＝seq(V)

输出结果H中包含T个阶段，分别代表着T个可能的数字。