[发明专利]一种基于深度学习的指针式仪表读数方法

摘要

本发明公开了一种基于深度学习的指针式仪表读数方法，属于深度学习和计算机视觉领域。本发明所述方法利用Mask‑RCNN目标检测和实例分割算法，先将表盘和指针图像分割，再运用透视变换对表盘做校正处理，紧接着运用PCA(Principal Component Analysis，主成分分析)算法对分割出来的仪表指针进行直线拟合，然后根据指针的最小斜外接矩形的中心坐标和表盘的圆心坐标判断指针的方向，最后根据指针的斜率和方向运用角度法计算出指针读数。本发明所述方法可以准确分类仪表类型，高精度像素级分割指针和表盘，非均匀光照条件下、不同尺度下仍具有很好的鲁棒性，解决了传统指针式仪表识别领域中表盘和指针定位困难、光线不均匀、镜面反光、图片模糊不清造成识别精度不高等问题。

主权项

1.一种基于深度学习的指针式仪表读数方法，其特征在于，包括以下步骤：步骤1，标注数据集：首先用可见光摄像机拍摄一定数量包含仪表的图片(包含不同背景、光照条件、不同尺度下的图片)，再人为手工对每张图像的表盘区域和指针区域进行标注；步骤2，模型训练：利用步骤1标注好的数据集，放入Mask‑RCNN模型中进行训练，Mask‑RCNN模型实质是通过在Faster‑RCNN(目标检测网络)的基础上添加一个分支网络，在实现目标检测的同时，把目标中感兴趣区域像素分割出来，训练完成得到模型和权重；步骤3，获取图像的分类、回归、分割坐标：输入测试图片，根据步骤2中Mask‑RCNN模型和已经训练好的权重对测试图片分类，同时获得表盘区域坐标(Wi，Qi)，i＝1，2，3...n和指针区域坐标(Gj，Pj)，j＝1，2，3...q，n和q分别表示表盘区域和指针区域的坐标点数量；步骤4，判断仪表类型输入对应仪表参数：依据步骤3获得的仪表分类信息，前往数据库调用仪表的基本参数，仪表参数有最小值vmin、最大值vmax、最小角度θmin、最大角度θmax；步骤5，透视变换仪表校正：从步骤3获得的表盘坐标做最小外接椭圆和最小外接圆处理，接着根据仪表椭圆到圆的坐标关系求得透视变换矩阵M，最后运用透视变换矩阵M得到校正后的指针区域坐标(xj′，yj′)，j＝1，2，3...q，q表示校正后指针区域的坐标点数量；步骤6，对指针坐标直线拟合：依据步骤5获得的指针透视变换后的二维坐标(xj′，yj′)，j＝1，2，3...q，运用PCA(Principal Component Analysis，主成分分析)算法对仪表指针进行直线拟合，得到直线斜率为K；步骤7，判断指针方向：利用步骤3中得到的表盘坐标(Wi，Qi)，i＝1，2，3...n，拟合出表盘的最小外接圆，外接圆的圆心坐标作为表盘的圆心坐标(Cx，Cy)，依据步骤3中得到的指针坐标(Gj，Pj)，j＝1，2，3...q，拟合出指针的最小斜外接矩形，外接矩形的中心坐标作为指针的中点坐标(Mx，My)，再根据坐标(Cx，Cy)和(Mx，My)的位置关系判断指针方向θ；步骤8，角度法计算指针读数：依据步骤4获得的仪表基本参数θmin、θmax、vmin、vmax，步骤6的指针斜率K和步骤7获得的指针方向θ，运用角度法计算仪表读数v。