[发明专利]基于多视觉融合的工件表面缺陷和字符识别的方法及系统

说明书

本发明公开了一种基于多视觉融合的工件表面缺陷和字符识别的方法及系统，首先对多个工业相机采集的图像进行特征融合与拼接，通过sift特征匹配完成待检工件表面标签的粗定位，通过Retinex算法进行图像增强，进一步减小光照的影响；然后高斯滤波，去除图像噪点，在缺少大量缺陷样本的情况下，利用GANomaly网络进行缺陷检测；接着将滤波后的图像自适应阈值分割，通过CTPN网络进行字符定位，CRNN网络进行字符识别，具体地，CRNN网络通过加入残缺字符样本的训练数据集进行训练验证，提高方法对残缺字符的识别效果；最后，将GANomaly网络缺陷检测的结果和CRNN网络字符识别的结果可视化输出，根据结果分拣待检工件。本发明具有检测精准、反应灵敏的优点。

技术领域

本发明属于反光待检工件表面缺陷和字符识别技术领域，具体涉及一种基于多视觉融合的工件表面缺陷和字符识别的方法及系统。

背景技术

在工业生产中，对待检工件进行成品检测是十分重要的。多数待检工件表面均有各种类型不同的字符用于表达生产信息，然而实际检测工序中干扰较多，车间杂乱光源引起待检工件反光，待检工件表面有裂纹、磨损，待检工件的材质千差万别，有不锈钢、塑料、橡胶等，待检工件字符刻印方式多样，有喷码、压印、浮雕等，这为待检工件表面尤其是圆柱状待检工件表面缺陷检测和字符识别带来困难。如何解决上述问题，对于实现待检工件表面缺陷和字符识别智能化工业生产的目标意义巨大。

尽管已有学者针对平面待检工件表面的字符识别进行研究，但目前针对弧形、圆柱状的待检工件表面的字符识别研究较少。大多数圆柱状待检工件表面字符信息经常通过人工识读，手动输入计算机进行管控，该方法耗费人工且效率低；就检测系统来说，成像上一般采用单相机成像，需要事先摆放待检工件至特定的位置，否则就会采集不全甚至采集不到待检工件的字符信息；就识别方法来说，待检工件字符识别的传统方法通过阈值分割得到二值化图像，再采用垂直投影法分割单个字符，最后通过模板匹配识别字符，该方法对检测字符固定的简单场景效果较好，但是该方法对于复杂平面、字符样式不固定的情况下，需要花费大量的时间制作模板库，而且分割的效果不好直接导致字符识别出错。待检工件字符识别的深度学习方法鲁棒性较好，识别准确率较高，但是目前尚没有加入残缺字符训练集进行训练的方法，对残缺字符的识别准确率较差。待检工件的表面缺陷检测方法主要通过深度学习，但是目前主流的缺陷检测方法需要大量的缺陷样本，实际待检工件生产过程中收集大量的缺陷待检工件样本比较困难。

发明内容

为解决上述技术问题中的至少之一，本发明提出一种基于多视觉融合的工件表面缺陷和字符识别的方法及系统，能够自适应圆柱状工件的材质和字符刻印类型，在反光条件干扰下，能够快速识别出待检工件表面的缺陷以及残缺字符，检测精准、反应灵敏。

本发明的目的之一通过以下技术方案实现：提供一种基于多视觉融合的工件表面缺陷和字符识别的系统，包括工控计算机、载物台、传送皮带、多个工业相机、多个可调色光源和多个光源控制器，所述工控计算机分别与每个光源控制器和每个工业相机连接；所述载物台搭载在传送皮带上，用于放置待检工件，所述待检工件为圆柱状待检工件；所述传送皮带用于运输待检工件；多个所述工业相机两两相第一隔预设角度分布在待检工件周围，用于拍摄待检工件表面图像；多个所述可调色光源两两相隔第二预设角度分布在待检工件周围，每个可调色光源设有三个信道，分别对应红光、绿光、蓝光，每个光源控制器连接一个可调色光源，用于控制可调色光源；通过光源控制器，在工控计算机上调整红光、绿光、蓝光的强度，得到对应可调色光源所需的颜色光源。

作为进一步的改进，所述工业相机和可调色光源的数量均为三个，三个所述工业相机两两间隔120°均匀分布在待检工件周围，三个所述可调色光源两两间隔120°分布在待检工件周围。

本发明的目的之二通过以下技术方案实现：提供一种基于多视觉融合的工件表面缺陷和字符识别的方法，利用其上所述的基于多视觉融合的待检工件表面缺陷和字符识别的系统进行检测，包括以下步骤：