[发明专利]基于分割网络的零件缺陷检测与字符识别方法及装置

说明书

本发明涉及一种基于分割网络的零件缺陷检测与字符识别方法及装置。所述方法包括：获取一定数量的具有缺陷的零件图像并对获得的零件图像进行分类标注，得到分类标注训练数据集，分类标注的分类类型包括缺陷轮廓类型和字符轮廓类型，基于并行反向注意力的PraNet网络构建分割模型；对分割模型进行训练；使用训练好的分割模型对零件图像进行缺陷检测。本发明的方法可以准确定位缺陷和字符的位置，有效识别现有OCR方法无法识别的字符，提高生产效率和产品质量把控。

技术领域

本发明涉及图像识别技术领域，更具体的，涉及一种基于分割网络的零件缺陷检测与字符识别方法及装置。

背景技术

随着现代工业的发展，零件缺陷检测技术被广泛应用，尤其是应用在瑕疵检测、工件表面质量检测等。但现有的零件缺陷检测方法主要研究自然场景复杂性对检测结果的影响，对于工业零件的字符与背景颜色几乎一样、字符与工业零件缺陷混合后缺陷问题，无法解决。即，1)当工业零件上的字符颜色与工业零件整体本身的颜色相似时，很难准确识别出工业零件上的字符，更不用说检测出字符是否存在缺陷；2)当工业零件上的字符附近出现类似划痕这样的缺陷时，容易将划痕误判为字符，或者将字符误判为划痕，不能准确识别出字符区和零件缺陷区。以工业零部件密封圈为例(如图3所示，实际工业相片中字符和背景均为深绿色)，字符颜色与零件整体的颜色相似，现有OCR算法识别准确率低、甚至根本无法检测出工业零件上的字符区域。

采用传统的人工目视法针对各种复杂的场景都可以适用，但是长时间的目视会让检测员工产生眼神经疲劳，加上个体的不同，每个员工对标准的把控不同，容易发生对缺陷误检漏检的情况，导致对零件缺陷的检测准确度较低且检测效率低。

发明内容

为了解决上述问题，本发明提供了一种基于分割网络的零件缺陷检测与字符识别方法及装置。

本发明提供的一种基于分割网络的零件缺陷检测与字符识别方法，其包括：

获取一定数量的具有缺陷的零件图像并对获得的零件图像进行分类标注，得到分类标注训练数据集，所述分类标注的分类类型包括：缺陷轮廓类型和字符轮廓类型；

基于并行反向注意力的PraNet网络构建分割模型，其中sigmod激活函数改进为Softmax激活函数作为PraNet网络输出端的激活函数，对于PraNet算法，AdamW优化函数替换原有的Adam优化函数，并且在AdamW优化函数中加入LookAhead机制，用Mish激活函数替换原有的ReLU激活函数；

对所述分割模型进行训练；

使用训练好的所述分割模型对零件图像进行缺陷检测。

其中，在对获得的零件图像进行分类标注时，在零件图像中用连续的闭合的点线来标注缺陷轮廓区域和字符轮廓区域，标注后生成相应的扩展名为Json的标注文件，用标注标签来注释缺陷轮廓区域和字符轮廓区域。

其中，当字符轮廓区域和缺陷轮廓区域交织在一起无法区分时，将分类类型只标注为缺陷轮廓类型，不再标注字符轮廓类型。

其中，在使用训练好的所述分割模型对零件图像进行缺陷检测的过程中，对于所述分割模型输出的包含字符的零件图像，使用OCR文本检测和识别算法来识别出该零件图像中的字符。

其中，所述缺陷轮廓类型包括但不限于：划痕轮廓类型和残缺轮廓类型。

本发明提供的一种基于分割网络的零件缺陷检测与字符识别装置，其包括：

图像获取和分类标注模块，用于获取一定数量的具有缺陷的零件图像并对获得的零件图像进行分类标注，得到分类标注训练数据集，所述分类标注的分类类型包括：缺陷轮廓类型和字符轮廓类型；