[发明专利]基于深度学习的数字微镜高亮缺陷检测方法

说明书

基于深度学习的数字微镜高亮缺陷检测方法，属于视觉检测技术领域，解决了高亮工件表面缺陷识别效率低下的问题。本发明所述的方法建立在数字微镜器件计算成像系统之上，高亮缺陷表面的强反射光线经过空间光调制器即数字微镜器件的光强调制之后进入相机CMOS面成像，数字微镜器件的光强调制使用自适应光强调制方法，得到高亮缺陷的高动态范围图像，通过采集多幅图像制作高动态范围图像数据集，结合深度学习目标检测框架Mask RCNN，使用GPU训练神经网络，最终实现高亮缺陷的快速检测和分割，弥补了单独使用数字微镜器件或者深度学习网络的不足，提高了检测效率。

技术领域

本发明涉及视觉检测技术领域，特别涉及一种基于深度学习的数字微镜高亮缺陷检测方法。

技术背景

传统的基于数字微镜器件的计算成像系统通过反射式空间光调制器能够实现高动态范围成像，提高成像清晰度，但系统不具备检测和识别缺陷像素坐标和缺陷种类的能力，而深度学习算法作为计算机视觉领域的重要研究方向，很难单纯在软件上对高亮的缺陷图像进行分类和分割，通过基于数字微镜器件的计算成像系统制作高动态范围图像数据集，将二者结合，能够实现高亮工件表面缺陷的智能定位、分类和分割，其可应用于普通低动态相机无法正常检测识别缺陷的工业领域。

发明内容

本发明的目的在于提出了一种基于深度学习的数字微镜高亮缺陷检测方法，该方法基于数字微镜器件计算成像系统来实现。该发明有利于提高高亮工件表面缺陷的检测效率。

本发明所述的基于深度学习的数字微镜高亮缺陷检测方法，是基于数字微镜器件计算成像系统来实现的。

所述计算成像系统包括灰度CMOS相机1、双向远心镜头2、全内反射棱镜3、数字微镜器件4、双胶合消色差透镜5、高亮缺陷样品6、处理器7。

数字微镜器件4是一种反射式空间光调制器，有0°、+12°、-12°三个状态(+12°为开启状态，-12°为关闭状态)。

高亮缺陷样品6的反射光线经过双胶合消色差透镜5后在全内反射棱镜3的全反射下成像在数字微镜器件4的镜面上，数字微镜器件由数百万个可编程控制的微镜所组成，通过设计合适的掩模控制反射光光强，经调制后的光强经过双向远心镜头2会聚到灰度CMOS相机1的传感器上，双向远心镜头2能够在一定的成像范围内保证放大倍率的稳定。

处理器7为采用]GTX 2080TI图像处理器的计算机，保证能够实现高分辨率高动态范围图像和庞大数据集下的神经网络训练工作。

所述方法包括：

步骤1、将高亮缺陷样品6放在计算成像系统双胶合消色差透镜5的视野内，调整好样品到透镜的距离，像距和物距的比值为透镜的放大倍数；

步骤2、数字微镜器件4处于完全开启状态，灰度CMOS相机1采集设计好的数字微镜器件棋盘格图案，提取棋盘格角点坐标，获取数字微镜和CMOS像素之间的映射关系矩阵；

步骤3、数字微镜器件4处于完全开启状态，灰度CMOS相机1采集高亮缺陷图片，提取高亮区域，设计合适的数字微镜器件掩模；

步骤4、通过掩模控制数字微镜器件4的开启关闭周期，灰度CMOS相机1采集得到高动态范围图像数据集；

步骤5、通过高动态范围图像数据集训练目标检测神经网络，得到高亮缺陷下的神经网络检测模型，验证得到高亮缺陷的Mask以及定位框像素坐标。

步骤2中数字微镜和CMOS像素之间的非线性映射关系采用梯度下降法求得，相比于之前的最小二乘法，拟合精度更高，拟合结果更加稳定，其拟合关系式为：

其中(u，v)为CMOS像素坐标系，(x，y)为数字微镜坐标系，a和b为拟合系数。