[发明专利]一种基于Faster-RCNN的仪表盘数字识别方法

权利要求书

1.一种基于Faster-RCNN的仪表盘数字识别方法，其特征在于，包括以下几个步骤：

S1、数据获取：利用工厂的监控视频采集仪表盘的原始图片；

S2、数据预处理：首先裁剪原图获得对应的示数盘图片，然后裁剪示数盘图片获得数字和小数点的图片；

S3、示数盘识别模型训练以及模型识别：基于改进版Faster-RCNN模型训练示数盘识别模型，然后利用该模型进行示数盘识别过程，获得示数盘图片；

S4、示数识别模型训练以及模型识别：基于ResNet模型训练数字以及小数点分类模型，然后将步骤S3得到的示数盘图片中的元素分割后传入该示数识别模型中，分类识别后最终得到确切示数。

2.根据权利要求1所述的一种基于Faster-RCNN的仪表盘数字识别方法，其特征在于：所述步骤S2利用截图工具裁剪原图获得仪表盘图片，然后可裁剪仪表盘图片中的示数盘部分图片，获得各个数字和小数点图片，图片保存为“jpg”格式。

3.根据权利要求1或2所述的一种基于Faster-RCNN的仪表盘数字识别方法，其特征在于，所述步骤S3的具体步骤如下：

S3.1、Faster-RCNN数据集制作；

S3.2、将示数盘图片缩放至固定大小，然后传入特征提取网络，特征提取网络采取深度残差网络ResNet和GoogLeNet的综合体ResNext，得到特征图；

S3.3、将得到的特征图传入RPN网络部分，生成anchor box，将其传入分类网络和回归网络，得到先验框；

S3.4、将S3.2过程得到的特征图和S3.3过程得到的先验框传入ROI Polling层，得到固定大小先验框的特征图；

S3.5、将S3.4过程得到的固定大小先验框的特征图送入后续的classification层和regression层，进行分类和回归操作，得到目标的具体位置；

S3.6、将现场拍摄到的图片进行直方图均衡化预处理，然后送入已训练好的示数盘识别模型中，进行示数盘识别过程，即可得到示数盘图片。

4.根据权利要求3所述的一种基于Faster-RCNN的仪表盘数字识别方法，其特征在于：步骤S3.5进行分类和回归操作时，训练损失函数分为分类损失和回归损失，其计算公式如下：

L_cls(p_i,p_i^*)和L_reg(t_i,t_i^*)的计算公式如下：

其中R是Smooth L1函数，计算公式如下：

式中，i代表anchor的索引，p_i代表第i个anchor属于前景的概率值，p_i^*代表该anchor对应的Ground Truth的概率，t_i是预测框的坐标向量，ti*是真实框的坐标向量，N_cls代表分类项的归一化大小，N_reg代表回归项的归一化大小，λ表示的是回归损失部分的权重。

5.根据权利要求3所述的一种基于Faster-RCNN的仪表盘数字识别方法，其特征在于，步骤S3.1具体包括如下操作：对S2过程得到的仪表盘图片进行数据增广操作，利用Labelme工具进行示数盘边框标注，标签类别是“shishupan”，生成xml文件，根据xml文件和对应的图片制作“train.txt”、“val.txt”、“trainval.txt”文件，将txt文件和图片以及xml文件制作成VOC2007数据集的格式。