[发明专利]基于深度学习和霍夫变换的六边形螺栓松动检测方法

权利要求书

1.基于深度学习和霍夫变换的六边形螺栓松动检测方法，其计算处理步骤如下，其特征在于：使用深度学习技术，通过基于区域的全卷积神经网络目标检测算法实现螺栓松动的检测，方法包括如下步骤：

(1)先对输入图片计算深度特征从而得到螺栓位置，

所述步骤(1)中使用采用深度学习中基于区域的全卷积神经网络目标检测算法将螺栓位置提取出来，具体步骤为：

步骤2.1：训练基于区域的全卷积神经网络神经网络，主干网络使用101层残差网络，去掉原始残差网络的最后一层全连接层，保留前100层，再接一个1*1*1024的全卷积层，残差网络的输出是W*H*1024；

步骤2.2：根据残差网络输出的特征图利用区域提名神经网络计算出2000个左右的候选框，同时用k*k*(C+1)个1024*1*1的卷积核去卷积残差网络输出特征图得到k*k*(C+1)个大小为W*H的位置敏感得分图，k＝3，表示把一个兴趣区域划分成3*3块，对于k*k＝9块，每块W*H*(C+1)表示的是不同位置存在目标的概率值，共有k*k*(C+1)个特征图，每个特征图，z(i,j,c)是第i+k(j-1)个立体块上的第c个图1＝i,j＝3，(i,j)决定了9种位置的某一种位置，假设为左上角位置i＝j＝1，c决定了哪一类，假设为螺栓类，在z(i,j,c)这个特征图上的某一个像素的位置是(x,y)，像素值是v，则v表示的是原图对应的(x,y)这个位置上可能是螺栓c＝‘螺栓’且是螺栓的左上部位i＝j＝1的概率值；

步骤2.3：将候选框中图片兴趣区域池化，思路是不论对多大的兴趣区域，规定在上面画一个n*n个bin的网格，每个网格里的所有像素值做一个池化，这样不论图像多大，池化后的兴趣区域特征维度都是n*n，RoI池化是每个特征图单独做，不是多个通道一起的，若有C个类，兴趣区域的宽度是W'，高度是H'，则兴趣区域池化操作的输入是k*k*(C+1)*W'*H'的得分图上某兴趣区域对应的那个立体块，且该立体块组成一个新的k*k*(C+1)*W'*H'的立体块：每个立体块C+1都只抠出对应位置的一个bin，把这k*k个bin组成新的立体块，大小为(C+1)*W'*H'，兴趣区域池化的输出为一个(C+1)*k*k的立体块；

对于第(i,j)个bin，定义位置敏感的兴趣区域池化仅在第(i,j)得分图上进行池化：

池化后进行分类的投票，k*k个bin直接进行求和，得到每一类的得分，并进行柔性最大得到每类的最终得分，并用于计算损失，对于每一个兴趣区域：

r_c(Θ)＝∑_i，jr_c(i，j|Θ)

类别的柔性最大响应为:

损失函数由分类损失和回归损失组成，分类用交叉熵损失，回归用L1-smooth损失:

L(s，t_{x，y，w，h})＝L_cls(s_c*)+λ[c*＞0]L_reg(t，t^*)

通过上述方法训练基于区域的全卷积神经网络后，输出图片螺栓分类位置检测的结果；

(2)再在原图片中根据得到的螺栓位置提取出螺栓图像并计算螺栓角度；

所述步骤(2)中提取螺栓图像并计算螺栓角度，设计方法为：

步骤3.1：对于使用定位以后的图像，提取其中的预测区域，由于即便在800万像素的摄像头下，每一个螺栓所占总像素值依旧不足，所以，需要在保持其横纵比不变的情况下，使用双立方插值法对图像按整数倍放大，放大到总像素数10万左右；

步骤3.2：接着，由于获得图像锯齿严重，需使用高斯滤波，抑制噪声，平滑图像，所用二维高斯函数如下：

其大小为(2k+1)×(2k+1)的高斯滤波器核的生成方程式如下所示：

将图像与所选高斯滤波核卷积后，即可得到更为平滑的图像；

步骤3.3：为方便其后边缘检测运算，需使用一定的二值化算法对图像进行分割处理，使用OTSU算法对图像进行二值化分割，找出一个最佳阈值，按这个阈值分割能获得最大类间方差；

步骤3.4：完成阈值分割后，使用坎尼边缘检测算法，可以获得六边形螺栓的六条边的雏形以供后续的直线检测算得直线角度；

步骤3.5：使用霍夫变换，实现从图像空间到参数空间的映射关系，将图像空间内具有一定关系的像元进行聚类，寻找把这些像元用某一解析形式联系起来的参数空间累计对应点，在极坐标系下所有直线都满足于方程；

ρcos(θ-θ₀)＝ρ₀

其ρ为极径，θ为极角，ρ₀为极点到直线的距离，θ₀为直线的倾斜角度，设空间中一点A的坐标是(x,y)，由于x＝ρcos(θ)，y＝ρsin(θ)，将上式展开，我们可以得到

x cos(θ0)+y sin(θ₀)＝ρ₀

所有过点A的直线在极坐标系下的方程都满足于上式，若两点在一条直线上，则两条ρ₀和θ₀的关系曲线必定会相交于一点，这一点处对应的ρ′₀和θ′₀便是这两点所在直线的极坐标参数；

由此将图像空间中的问题转换到了参数空间上进行解决，通过量化霍夫参数空间为有限个间隔等分的格子，按这个间隔，从0到2π遍历θ₀的取值，对于一个θ₀每个像素坐标点(x,y)都可以得到对应的ρ₀，这组(ρ₀，θ₀)所对应的格子中计数值加1，当把所有在步骤3.4中得到的边缘像素值坐标带入后，可以得到一个统计了所有(ρ₀，θ₀)取值可能的二维数组，数组单元中计数值较高的便是直线在极坐标系下的参数，只需按照一个阈值筛选，即可得到螺栓的六条边的直线方程，根据几何学原理，必定有两组边在以左上角为顶点的极坐标系中角度介于0度到60度之间，记录这样的角度作为螺栓角度，并计算其与初始角度之差。