[发明专利]基于深度学习的数字微镜高亮缺陷检测方法

权利要求书

1.基于深度学习的数字微镜高亮缺陷检测方法，其特征在于，所述方法基于数字微镜器件的计算成像系统来采集高动态范围图像数据集；

所述计算成像系统包括灰度CMOS相机(1)、双向远心镜头(2)、全内反射棱镜(3)、数字微镜器件(4)、双胶合消色差透镜(5)、高亮缺陷样品(6)、处理器(7)；

数字微镜器件(4)是一种反射式空间光调制器，有0°、+12°、-12°三个状态(+12°为开启状态，-12°为关闭状态)；

高亮缺陷样品(6)为钕铁硼材料，材料表面在强光照射下存在漫反射以及镜面反射光，缺陷处反射光以镜面反射为主；

高亮缺陷样品(6)的反射光线经过双胶合消色差透镜(5)后在全内反射棱镜(3)的全反射下成像在数字微镜器件(4)的镜面上，数字微镜器件由数百万个可编程控制的微镜所组成，通过设计合适的掩模控制反射光光强，经调制后的光强经过双向远心镜头(2)会聚到灰度CMOS相机(1)的传感器上，双向远心镜头(2)能够在一定的成像范围内保证放大倍率的稳定；

处理器(7)为采用GTX 2080TI图像处理器的计算机，保证能够实现高分辨率高动态范围图像和庞大数据集下的神经网络训练工作；

所述方法包括：

步骤1、将高亮缺陷样品(6)放在计算成像系统双胶合消色差透镜(5)的视野内，调整好样品到透镜的距离，像距和物距的比值为透镜的放大倍数；

步骤2、数字微镜器件(4)处于完全开启状态，灰度CMOS相机(1)采集设计好的数字微镜器件棋盘格图案，提取棋盘格角点坐标，获取数字微镜和CMOS像素之间的映射关系矩阵；

步骤3、数字微镜器件(4)处于完全开启状态，灰度CMOS相机(1)采集高亮缺陷图片，提取高亮区域，设计合适的数字微镜器件掩模图案；

步骤4、通过掩模控制数字微镜器件(4)的开启关闭周期，灰度CMOS相机(1)采集得到高动态范围图像数据集；

步骤5、通过高动态范围图像数据集训练目标检测神经网络，得到高亮缺陷下的神经网络检测模型，验证得到高亮缺陷的Mask以及定位框像素坐标。

2.根据权利要求1所述的一种基于深度学习的数字微镜高亮缺陷检测方法，其特征在于，在光路中加入了全内反射棱镜(3)，在折叠光路的同时最大程度的保证了光利用效率。

3.根据权利要求1所述的一种基于深度学习的数字微镜高亮缺陷检测方法，其特征在于，数字微镜和CMOS像素之间的非线性映射关系采用梯度下降法求得，相比于之前的最小二乘法，拟合精度更高，拟合结果更加稳定，其拟合关系式为：

其中(u，v)为CMOS像素坐标系，(x，y)为数字微镜坐标系，a和b为拟合系数。

4.根据权利要求1所述的一种基于深度学习的数字微镜高亮缺陷检测方法，其特征在于，数字微镜器件的掩模生成算法改用线性变换或者指数变换的方式生成，相比于之前的迭代算法，节省了运算时间，包括以下步骤：

步骤4.1、灰度CMOS相机(1)采集高亮缺陷图片；

步骤4.2、对高亮缺陷图片进行灰度取反操作，然后对图像的灰度值进行线性变换或者指数变化等图像增强算法处理，选取合适的变换参数；

步骤4.3、将掩模导入到数字微镜器件，数字微镜按照一定周期偏转，灰度CMOS相机(1)采集到高动态范围图像数据集。

5.根据权利要求1所述的一种基于深度学习的数字微镜高亮缺陷检测方法，其特征在于，将深度学习算法应用到数字微镜器件计算成像系统中，目标检测框架以Mask RCNN为基础，使用采集到的高动态范围图像为数据集，检测缺陷种类为掉角(Drop horn)和划痕(Scratch)，神经网络会对高亮缺陷的Mask以及定位框像素坐标进行标注，以采用到的缺陷检测识别的正确率来判断神经网络的性能，训练集识别正确率为99.5％，测试集识别正确率为90.0％。

6.根据权利要求3所述的数字微镜和CMOS像素单元之间的映射关系矩阵采用梯度下降法求取，基于Python的TensorFlow框架实现。

7.根据权利要求5所述的深度学习目标检测框架Mask RCNN基于Windows平台下Python编写的TensorFlow框架实现。