[发明专利]一种钢卷标号识别方法及系统

权利要求书

1.一种钢卷标号识别方法，其特征在于，包括步骤：

S01、实时检测钢卷是否出现；当检测到钢卷时，截取钢卷图像；

S02、检测钢卷图像中的钢卷边缘，然后计算钢卷图形的梯度，得到钢卷圆周线，最终提取钢卷圆心；

S03、基于深度学习的语义分割模型和钢卷圆心，对钢卷不同位置上的标号字符区域进行定位和方位调整；

S04、基于端到端神经网络模型，对方位调整好的钢卷标号字符进行识别；

所述步骤S04包括具体过程：

S41、基于ResNet-50-FPN网络和Non-Local模块提取标号字符特征，得到融合特征图；

S42、基于分割建议网络对融合特征图进行处理，生成字符区域建议框，得到仅有标号字符的感兴趣区域；

S43、由文本分割模块对仅有标号字符的感兴趣区域进行字符检测与分类；

S44、对单独的字符分割结果进行像素投票，连接得到最终的字符识别结果；

在步骤S01中，采用平方差模板匹配方法来检测钢卷，具体过程为：计算每个像素点的差的平方和，计算公式如下：

R(x，y)＝∑_x′，y′(T(x′，y′)-I(x+x′，y+y′))² (1)

得到图像的矩阵为R(x，y)，模板图像矩阵为T(x′，y′)，原图像矩阵为I(x，y)；其中匹配值越接近于0，匹配程度越高；

根据多次模板匹配实验结果，确定匹配阈值；当匹配值小于阈值，则说明钢卷出现，触发采集；

步骤S02的具体过程为：

对图像进行边缘检测，然后计算图形的梯度，并确定圆周线，其中圆周的梯度为法线；在二维霍夫空间内，绘出所有图形的梯度直线，某坐标点上累加和的值越大，说明在该点上直线相交的次数越多，越有可能是圆心；接着，在霍夫空间的四邻域内进行非最大值抑制；最后，设定一个阈值，霍夫空间内累加和大于该阈值的点就对应于圆心；

步骤S03的具体过程为：

语义分割模型输出为二值图像，字符区域为白色，使用形态学操作膨胀使得每个字符区域粘连，形成连通域，根据图像的矩找出连通域的中心，与获取的钢卷圆心相连，求出该直线的倾斜角，确定图片的旋转角度，最后利用仿射变换将图片旋转，使得钢卷编号区域位于图片上方，编号阅读顺序变为从左至右。

2.根据权利要求1所述的钢卷标号识别方法，其特征在于，所述步骤S42的具体过程为：

分割建议网络采用U-Net结构对融合特征图z_i进行处理；其中Z_i由不同分辨率的特征图融合而成；

对每个通道的融合特征图分别进行卷积与上采样操作，达到尺度一致的效果，进行拼接；

将拼接后得到的特征图依次进行卷积、归一化、激活、反卷积操作，重复多次以后送入sigmoid激活函数层，得到分割映射S，像素范围为[0,1]，其中包含字符区域建议框；

设置掩码M，将字符区域多边形内像素值置为1，其余区域置为0；将掩码M与字符区域进行像素乘法，将得到仅有字符的感兴趣区域，消除背景噪声以及临近字符噪声。

3.根据权利要求2所述的钢卷标号识别方法，其特征在于，所述步骤S43的具体过程为：

文本分割模块将感兴趣区域对应的融合特征图送入四个卷积核为3×3的卷积层，一个卷积核为2×2的逆卷积，再分别送入两个卷积层，对应生成1通道的文本分割图、37通道的单独字符分割图；其中文本分割图中提供了准确的字符区域，单独字符分割图将每个字符分类至所属的类别里，完成单个字符识别操作。

4.根据权利要求3所述的钢卷标号识别方法，其特征在于，所述步骤S44的具体过程为：

将单独字符分割图中的背景图以一定阈值进行二值化，根据连通域获取所有的字符区域，依据背景图中每个字符所在位置，分别对应计算各融合特征图中每个字符区域的像素均值，值最大的融合特征图可与字符结果对应；根据识别结果按照每个字符中心点坐标从左到右排序，将其对应的识别结果连接起来得到字符串。

5.根据权利要求1～4中任意一项所述的钢卷标号识别方法，其特征在于，在步骤S04之后，还包括步骤S05：对多张不同位置钢卷的图像得到的识别结果进行投票，出现次数多的作为最终的识别结果。

6.一种钢卷标号识别系统，用于执行如权利要求1～5中任意一项所述的钢卷标号识别方法，其特征在于，包括：

第一程序模块，用于实时检测钢卷是否出现；当检测到钢卷时，截取钢卷图像；

第二程序模块，用于检测钢卷图像中的钢卷边缘，然后计算钢卷图形的梯度，得到钢卷圆周线，最终提取钢卷圆心；

第三程序模块，用于基于深度学习的语义分割模型和钢卷圆心，对钢卷不同位置上的标号字符进行定位和方位调整；

第四程序模块，用于基于端到端神经网络模型，对方位调整好的钢卷标号字符进行识别。