[发明专利]一种基于机器人巡检的指针式仪表读数识别方法

权利要求书

1.一种基于机器人巡检的指针式仪表读数识别方法，其特征在于，包括如下步骤：

(1)、获取包含待识别读数的指针式仪表表盘的图像；

(2)、使用Yolo将CNN网络将输入的图片分割成S×S网格，然后每个单元格负责去检测那些中心点落在该格子内的目标；

(3)、采用Yolo卷积网络来提取特征，然后使用全连接层来得到预测值，网络结构参考GooLeNet模型，包含24个卷积层和2个全连接层；

(4)、先在ImageNet上进行预训练，其预训练的分类模型采用前20个卷积层，然后添加一个average-pool层和全连接层，预训练之后，在预训练得到的20层卷积层之上加上随机初始化的4个卷积层和2个全连接层；

(5)、首先从所有的检测框中找到置信度最大的那个框，然后挨个计算其与剩余框的IOU，如果其值大于一定阈值(重合度过高)，那么就将该框剔除；然后对剩余的检测框重复上述过程，直到处理完所有的检测框；

(6)、首先通过目标检测算法将每一个指针式仪表表盘检测出来，然后在检测框的基础上针对单个指针式仪表表盘做刻度起点位置、刻度终点位置、圆心位置及指针位置关键点检测；

(7)、神经网络输出指针表计的起始刻度、终止刻度、圆心、指针刻度4点关键点，然后依据关键点之间的内在联系，计算指针所对应的占比。

2.根据权利要求1所述的基于机器人巡检的指针式仪表读数识别方法，其特征是：所述步骤(2)中进行处理时，包含以下步骤：每个单元格会预测B个边界框以及边界框的置信度，置信度包含两个方面，一是这个边界框含有目标的可能性大小，二是这个边界框的准确度，前者记为Pr(object)，当该边界框是背景时，此时Pr(object)＝0，而当该边界框包含目时，Pr(object)＝1，边界框的准确度用预测框与实际框的IOU来表征，记为置信度定义为边界框的大小与位置用4个值来表征：(x，y，w，h)，其中(x，y)是边界框的中心坐标，而w和h是边界框的宽与高，中心坐标的预测值(x，y)是相对于每个单元格左上角坐标点的偏移值，单位是相对于单元格大小，边界框的w和h预测值是相对于整个图片的宽与高的比例，理论上4个元素的大小在[0，1]范围，每个边界框的预测值包含5个元素：(x，y，w，h，c)，其中前4个表征边界框的大小与位置，而最后一个值是置信度。

3.根据权利要求1所述的基于机器人巡检的指针式仪表读数识别方法，其特征是：所述步骤(2)中进行处理时，包括分类，对于每一个单元格给出预测出C个类别概率值，其表征的是由该单元格负责预测的边界框其目标属于各个类别的概率，计算出各个边界框类别置信度:每个单元格需要预测(B*5+C)个值，如果将输入图片划分为S×S网格，那么最终预测值为S×S×(B*5+C)大小的张量，对于PASCALVOC数据，其共有20个类别，如果使用S＝7，B＝2，那么最终的预测结果就是7×7×30大小的张量。

4.根据权利要求1所述的基于机器人巡检的指针式仪表读数识别方法，其特征是：所述步骤(6)中进行处理时，首先通过目标检测算法将每一个指针式仪表表盘检测出来，然后在检测框的基础上针对单个指针式仪表表盘做刻度起点位置、刻度终点位置、圆心位置及指针位置关键点检测，首先将图像中所有的关键点都检测出来，然后将所有的关键点聚类成不同的个体。

5.根据权利要求1所述的基于机器人巡检的指针式仪表读数识别方法，其特征是：所述步骤(6)中进行处理时，主要网络结构分为多个stage，其中第一个stage会产生初步的关键点的检测效果，接下来的几个stage均以前一个stage的预测输出和从原图提取的特征作为输入。