[发明专利]一种多视角的指针式仪表识别方法

权利要求书

1.一种多视角的指针式仪表识别方法，其特征在于，包括以下步骤：

步骤1：采集图像，利用摄像机对指针式仪表进行图像采集，并上传至计算机；

步骤2：利用SSD算法进行仪表区域定位；

所述步骤2包括：

步骤2.1：对样本数据进行预处理，获得预处理后的样本数据；

步骤2.2：构建SSD网络模型，在VGG16的基础网络结构上，将第6层和第7层的全连接层转化成卷积层；增加3个卷积层和一个平均池化层；

步骤2.3：对卷积后的每张特征图，采用3×3卷积生成默认框的回归后的坐标和类别概率；每个所述默认框的大小的计算公式为：

其中m为特征图数目，s_min为最底层默认框大小，s_max为最顶层默认框大小；

步骤2.4：定义事先标注好的指针式仪表区域为ground truth box，通过ground truthbox对SSD网络模型进行训练；利用训练好的SSD网络进行多角度指针式仪表的精确定位；

训练过程如下所示：

将实际选取的默认框prior box和ground truth box按照IOU进行匹配，IOUT₁的priorbox为正样本，其余为负样本，所述T₁为0.7；将prior box的回归损失由高到低进行排序，选择回归损失最高的M个prior box作为集合D，匹配成功后的正样本作为集合P，则正样本集为P-D∩P，负样本集为D-D∩P；所述正样本集和负样本集中正样本和负样本的数量比为1:4，即M为prior box数量的1/4；

通过损失函数调整网络参数，完成指针式仪表的定位；

所述损失函数为：

其中，c为类别概率，l为预测框，N为与ground truth box相匹配的prior box个数；如果N＝0，损失函数为0；L_conf为分类损失部分；L_loc(x,l,g)为预测框l和第g个ground truthbox的回归损失部分；λ为回归损失的权重，代表了回归损失对整个损失函数的贡献，λ取值为0.5；

步骤2.5：利用NMS算法删去重复框体，选取仪表区域；

步骤3：利用ResNet34深度残差神经网络对仪表区域进行分类训练，根据分类结果进行样本图像的初步矫正；利用SSD算法对矫正后的图像进行仪表区域的二次定位；

步骤4：利用ResNet34深度残差神经网络对二次定位后的仪表区域进行回归训练，识别表盘上的指针位置；

步骤5：利用HED边缘检测算法对定位的仪表区域进行表盘边缘检测；根据RANSAC算法进行随机采样，计算仪表表盘的边缘模型；

步骤6：利用缩放比对仪表指针进行矫正，并计算仪表指针与起始针的夹角；

步骤7：根据所述夹角查阅数据库表，获得仪表盘的刻度。

2.根据权利要求1所述的一种多视角的指针式仪表识别方法，其特征在于，所述步骤3包括：

步骤3.1：采用ResNet34深度残差神经网络对SSD算法检测出的仪表区域进行分类训练，以仪表区域中指针下方的文字或图案与水平方向所成的夹角α为分类标准，进行训练；

步骤3.2：根据分类训练的结果，确定仪表区域相对于水平方向的倾斜角度，通过矩阵变换算法对样本图像原图进行矫正；

步骤3.3：利用SSD算法重新对矫正后的样本数据图进行仪表区域定位。

3.根据权利要求1所述的一种多视角的指针式仪表识别方法，其特征在于，所述步骤4具体为：利用ResNet34深度残差神经网络对步骤3处理后的仪表盘区域进行回归训练，以水平方向向左为0度起始针，以(0,360]为回归区间，利用事先标注的仪表角度，采用ResNet34深度残差神经网络对仪表盘上指针与起始针角度进行回归训练，利用训练好的网络获得指针与起始针的夹角。