[发明专利]一种基于深度学习的液晶屏瑕疵检测方法及系统

说明书

本发明公开一种基于深度学习的液晶屏瑕疵检测方法及系统，属于图像处理技术领域。该方法包括图像采集、数据标注、滑窗操作、数据增强、网络训练、瑕疵检测以及瑕疵语义分割七个部分。本发明还提供了基于深度学习的液晶屏瑕疵检测系统，包括图像采集模块、数据标注模块、图像分区模块、数据增强模块、网络训练模块、并行检测模块、瑕疵分割模块。本发明提出在检测的技术上实现分割，不仅可以获取瑕疵的类型与位置，还可以获取其具体形状；使用数据增强的操作，大大降低数据集制作所需的成本；采取基于深度学习的并行检测，既保了证检测精度，又提高了检测速度。

技术领域

本发明涉及图像处理技术领域，特别涉及一种基于深度学习的液晶屏瑕疵检测方法及系统。

背景技术

随着电子科技行业的快速发展，各种便携式设备在日常生活中被广泛应用，其人机交互界面窗口——显示屏则显得尤为重要。液晶屏因显示质量高、没有电磁辐射、可视面积大、应用范围广、功耗低等优点，越来越多地被用于设备显示。液晶显示屏面板中含有缺陷的晶体管将造成屏幕永久性的亮点与暗点；因尺寸较大，与传统电路板相比，液晶屏表面更容易存在瑕疵。因此，对液晶屏的瑕疵检测是十分重要的，它直接关系到产品的最终性能与质量；而该项检测涉及的工件品种多，数量大，检测过程的自动化已成为相关企业发展的迫切需求，目前国内大部分企业仍然采用传统机器学习技术，如统计法、频谱法等。这些方法均存在着瑕疵与非瑕疵区域间的对比度低，噪声和细微瑕疵的相似性、识别精度不高以及检测速度慢等问题，无法满足工业生产准确性和实时性的要求。

自2012年ImageNet大规模视觉识别竞赛中基于深度学习的方法一举夺得图像分类、目标定位两个冠军以来，深度学习以燎原之势席卷各行各业，识别精度和检测速度较传统算法有大幅提升。

发明内容

本发明的目的在于提供一种基于深度学习的液晶屏瑕疵检测方法及系统，以解决现有的检测方法精度低，且速度慢的问题。

为解决上述技术问题，本发明提供一种基于深度学习的液晶屏瑕疵检测方法，包括如下步骤：

步骤1：采集带有瑕疵的液晶屏图像，制成数据集；

步骤2：将采集到的图像进行瑕疵类型、位置以及像素点的标注；

步骤3：根据所获得的瑕疵数据，分别设置网络所需要检测的瑕疵类型数目以及检测框的初始大小，调节参数，进行网络训练；

步骤4：将一系列小图像送入网络，图像经过19层卷积层以及5层池化层后进行检测，判断是否存在瑕疵，若存在瑕疵，则输出瑕疵类型及相应位置；

步骤5：瑕疵类型及相应位置作为兴趣区域输入到后续层中，将其进行反卷积操作，得到与输入图片大小一致的特征图，结合兴趣区域，实现瑕疵语义分割，获取其具体形状。

可选的，在所述步骤3之前，所述基于深度学习的液晶屏瑕疵检测方法还包括：

通过滑窗操作将采集到的图像分割成一系列小图像；

通过对图像进行翻转、平移以及调节对比度实现数据增强，并分成训练集和验证集。

可选的，所述步骤3具体为：对训练集进行网络训练，训练完成后，利用验证集进行精度评估，直到满足相关标准；否则，调节参数，重新开始或继续训练。

可选的，所述步骤3中修改网络检测类型数目，为每一类检测目标分配固定的编号；通过k-means算法设置检测框的初始大小。

可选的，所述步骤2中通过LabelImg工具实现类型以及位置的标注，通过LabelMe工具，实现逐像素的语义标记，针对非瑕疵区域，标记为0；针对瑕疵区域，按瑕疵类型分别标记为不同整数。

可选的，所述位置的标注通过矩形框的形式实现，包含4个参数，分别是矩形框中心位置的横坐标和纵坐标、矩形框的宽度和高度。