[发明专利]一种用于电表终端故障识别的图像识别方法

权利要求书

1.一种用于电表终端故障识别的图像识别方法，其特征在于：该方法包括以下步骤：

(1)搭建深度学习分类网络、电表终端检测网络、组态匹配和故障识别网络；

(2)深度学习分类网络输入为图像，输出为电表终端设备的型号；

(3)电表终端检测网络用于识别电表终端和表盘四个角点所在区域；

(4)使用组态匹配检测方法获取每个电表终端面板信息特征；

组态匹配检测方法为：在步骤(2)的深度学习分类网络中，根据其分类结果，获取厂家和型号信息，厂家和型号信息设置为目标1的位置，设目标1的位置信息为(x，y，w，h)，其中x，y表述目标1的中心位置，w，h分别表示框选的宽和高，对于每一个具体型号的电表终端，建立一个组态匹配信息，对于目标2，建立一个VariationX1，VariationY1，VariationW1，VariationH1的相对位置信息，建立一个VarationDetection的目标检测算法信息，建立一个VariationLink＝1的组态信息，获得目标2的检测信息，在得到目标2的基础上继续检测目标3和目标4的信息，依次获得面板上其余检测信息；

(5)根据面板信息特征进行故障识别：识别使用深度学习网络；对于典型的“无故障”图片和“有故障”图片，利用步骤(3)的电表终端检测网络识别得到电表终端和表盘四个角点所在区域，使用透视变换技术获取电表终端表盘区域的正面图像，将正面图像和对应的缺陷类别作为标记样本，送入深度学习网络进行训练；识别时，将待识别的图片送入深度学习网络，深度学习网络会输出是否有故障的结果。

2.根据权利要求1所述的一种用于电表终端故障识别的图像识别方法，其特征在于：若检测的目标i为小目标，则建立一个VariationXi，VariationYi，VariationWi，VariationHi的相对位置信息，建立一个VarationClassify的算法信息，建立一个VariationLink＝i-1的组态信息；VariationLink＝i-1表述位置信息是相对于目标位置i的偏移，VarationClassify表述直接使用分类算法。

3.根据权利要求1所述的一种用于电表终端故障识别的图像识别方法，其特征在于：深度学习网络的训练过程包括以下步骤：

(1)搭建深度学习网络；

(2)使用透视变换技术丰富样本，在相机只有旋转变化的情况下，所有的图片都由特定的透视变换矩阵得到，透视变换矩阵是3X3的矩阵，除去缩放因子，其有八个自由度，确定了变换前的坐标和变换后的坐标关系：

q＝H*p

式中，q表示变换后的坐标(x’,y’,z’)，H表示透视矩阵，p表示原坐标(x,y,z)，该式为标准的透视变换齐次矩阵公式；

(3)使用ISP技术调整图像的亮度、对比度和颜色，丰富样本；

(4)训练电表终端检测网络，用于识别电表终端和表盘四个角点所在区域；

(5)使用图像测量的算法，精确定位表盘区域的四个角点坐标；

(6)使用透视变换技术获取电表终端表盘区域的正面图像，生成样本时，采用透视变换算法，生成仿真样本，绕3个空间自由度的旋转角度分别为a范围为-5～15度，b范围为-5～5度，v的范围为-10～10度；

(7)将正面图像和对应的缺陷类别作为标记样本，根据电表终端特性，电表终端的标记区域算法自动调整标记框的长宽比，R＝W/H，R的范围为1.2-1.5；送入深度学习网络进行训练时，根据标记的区域，如果标记区域长宽比不符合这个规则时，自动修改目标的长度，以便符合这个比例，再送入深度学习网络进行训练。

4.根据权利要求3所述的一种用于电表终端故障识别的图像识别方法，其特征在于：在对图像进行透视变换时，若已知相机的旋转角度，由如下计算方法得出透视矩阵H，利用H矩阵对图像进行变换：

在相机坐标系中设点的三维坐标为(xc,yc,zc)，对应的像点的像素坐标为(u,v,1)，

则由小孔成像模型知：

fx表示x方向缩放系数，fy表示y方向缩放系数，u0，v0表示平移；

在三维坐标系中，旋转用旋转矩阵表示，推导如下：

考虑二维坐标系xOy，点p(x,y)绕原点O逆时针旋转角度θ后得到点q(x1,y1)，用矩阵表示如下：

标准公式，θ为绕z轴旋转角度；

则在三维坐标系中，绕z轴的变换用如下旋转矩阵Rz(θ)表示：

式中为公式扩展到标准齐次的写法；

同理得，绕x轴变换的Rx(α)：

式中为公式扩展到标准齐次的写法；

绕y轴变换的Ry(β):

式中为公式扩展到标准齐次的写法；

所有三维空间的旋转由三个基本旋转矩阵组合得到：

R＝Rx(α)*Ry(β)*Rz(θ)

式中为公式扩展到标准齐次的写法；

其中R为旋转矩阵，是单位正交矩阵，表示三维空间中的任一旋转；

在相机成像模型中，当相机旋转后，投影矩阵为：

式中是将绕三个轴旋转，小孔成像合并到一起的变换关系；

得到像点坐标为(u1,v1)，则对相机旋转前后的像点进行逆变换得到：

式中为对矩阵求逆；

即得到了相机旋转前后的像素点对应关系：

A是小孔成像矩阵，R是旋转矩阵；其中H为透视变换矩阵，又称单应性矩阵；

由于透视矩阵具有八个有效参数，而每一对对应点提供了两组约束，则最少需四组对应点，任意三点不共线，即唯一确定一个透视变换；在对图像进行恢复透视变换时，需要被测物体的表面正对相机，与光轴垂直，若不知道相机的旋转矩阵，则最少需要某位置上的四组对应点，利用直接法求出对应的矩阵参数。