[发明专利]一种基于深度学习的水尺自动读数方法

权利要求书

1.一种基于深度学习的水尺自动读数方法，其特征在于：包括如下步骤，

S1、利用图像标注软件对收集到的包含水尺的图像样本进行处理，生成水尺图像样本数据集，利用图像数据集训练基于深度学习的目标检测模型，并利用训练好的目标检测模型对输入的视频帧图像中的水尺目标进行定位，获取水尺目标的边界框预测参数，基于水尺目标的边界框预测参数，从视频帧图像中裁剪出水尺区域，得到水尺区域的RGB彩色图像，即水尺图像；

步骤S1具体包括如下内容，

S11、通过互联网下载和实地拍摄两种方式采集包含水尺目标的图像样本；

S12、采用LabelImg标注工具用最小外接矩形将图像样本中的每个水尺目标框住，生成相应的XML格式的标签文件，即水尺图像样本数据集；

S13、基于Tensorflow深度学习框架搭建目标检测模型YOLO v3，并利用水尺图像样本数据集训练目标检测模型YOLO v3；

S14、训练过程中，设置batch size为16，采用Adam优化器，超参均为默认值，初始学习率为0.001，每当验证集损失在10个epoch后仍不下降，此时将学习率降低至原来的十分之一，总迭代步数设置为200000步；

S15、采用精确度和漏检率作为评价指标，评价目标检测模型YOLO v3的性能，当精确度和漏检率达到第一预设标准时，则表示目标检测模型YOLO v3训练完成；

S16、利用训练好的YOLO v3模型自动对视频帧图像中的水尺目标进行定位，获取水尺目标的边界框预测参数；

S17、基于水尺目标的边界框预测参数，从视频帧图像中裁剪出水尺区域，得到水尺区域的RGB彩色图像，即水尺图像；

S2、对水尺图像进行倾斜校正；

S3、对校正后的水尺图像进行预处理，并识别预处理后的水尺图像中的水位线位置；

S4、根据提取出的水尺图像制作水尺刻度字符数据集，基于该数据集训练基于深度学习的目标检测模型，并利用训练好的目标检测模型定位水尺图像中的所有刻度字符；

步骤S4具体包括如下内容，

S41、采用LabelImg边界框标注软件标注水尺图像中的所有刻度字符，生成水尺刻度字符数据集；

S42、基于Tensorflow深度学习框架搭建目标检测模型YOLO v3，并利用水尺刻度字符数据集训练目标检测模型YOLO v3；

S43、训练时，首先利用公开数据集MS COCO上预训练好的模型参数对目标检测模型YOLO v3进行初始化；训练过程中，设置batch size为16，采用Adam优化器，超参均为默认值，初始学习率为0.001，每当验证集损失在10个epoch后仍不下降，此时将学习率降低至原来的十分之一，总迭代步数设置为200000步；

S44、采用精确度和漏检率作为评价指标，评价目标检测模型YOLO v3的性能，当精确度和漏检率达到第二预设标准时，则表示目标检测模型YOLO v3训练完成；

S45、利用训练好的目标检测模型YOLO v3定位水尺图像中的所有刻度字符；

S5、搭建并训练字符识别模型，并利用训练好的字符识别模型识别所有刻度字符中位于最下方的刻度字符所表示的实际数值；

步骤S5具体包括如下内容，

S51、利用卷积神经网络快速搭建字符识别模型，基于SVHN数据集训练字符识别模型；

S52、字符识别模型训练的过程中，设置batch size为96，采用Adadelta优化器优化，总迭代次数设置为2000次；

S53、采用准确率和分类错误率作为评价指标，评价字符识别模型的性能，当准确率和分类错误率达到第三预设标准时，则表示字符识别模型训练完成；

S54、利用训练好的字符识别模型，识别步骤S5的所有刻度字符中的最下方且位于水位线之上的刻度字符所表示的实际数值；

S6、根据最下方刻度字符所表示的实际数值与水位线位置之间的像素距离，获取最终的水位高程；

步骤S3具体为，利用灰度化、二值化和图像去噪技术对校正后的水尺图像进行预处理，并将得到的二值图像在水平方向投影，采用连续阈值的方法识别水位线位置；

采用连续阈值的方法识别水位线位置的具体过程为，通过设定一个预设阈值，自上而下对行灰度值总和进行遍历搜索，当某一位置连续10次灰度值总和小于预设阈值，那么将该位置作为水位线的行坐标；

步骤S6具体为，

S61、以水尺图像的左上角为原点坐标，右上角方向为横轴正方向，左下角方向为纵轴正方向，得到水位线的纵轴坐标值；

S62、从水位线位置开始，沿着纵轴反方向依次向上寻找通过目标检测模型YOLO v3检测到的刻度字符，当找到第一个刻度字符时停止寻找，通过字符识别模型识别该字符表示的实际数值；

S63、根据该字符所表示的实际数值与水位线坐标值之间的像素距离，获取最终的水位高程。