[发明专利]一种基于深度学习的金属曲面缺陷分析系统及方法

权利要求书

1.一种基于深度学习的金属曲面缺陷分析系统，其特征在于：它包括主界面、图像预处理模块、图像训练库模块、卷积神经网络算法模块和输出模块。

2.根据权利要求1所述的模块化无线多路通，其特征在于：所述主界面模块的作用是对图像实时采集及可视化；对相机参数进行设置；对检测结果进行可视化包括结果图像和统计结果可视化。

3.根据权利要求1所述的模块化无线多路通，其特征在于：所述图像预处理模块的作用是采用预处理算法使图像滤波、图像对比度增强，用于减少图像噪声，提高缺陷图像质量。

4.根据权利要求1所述的模块化无线多路通，其特征在于：所述图像训练库模块用于深度识别的基础训练，包含各种缺陷的图像库；缺陷的特征库；图像预处理后的图像增强库。

5.根据权利要求1所述的模块化无线多路通，其特征在于：所述卷积神经网络算法模块对图像各种缺陷的特征提取、分类、卷积计算、模型训练以及缺陷检测。

6.根据权利要求1所述的模块化无线多路通，其特征在于：所述输出模块用于输出识别结果并输出到用户主界面，识别结果可外部保存。

7.一种基于深度学习的金属曲面缺陷分析系统的方法，其特征在于：所述方法的步骤为，

步骤一，通过相机实时采集图像作为输入图像，输入图像包括缺陷图像和待识别图像，用户可通过主界面设置工业相机采集参数；

步骤二，用户通过手动标注方式进行高光金属曲面缺陷有效监测区域粗定位，系统存储目标区域在图像中的坐标RECT建立图像样本库包括无缺陷样本、划痕缺陷样本、崩缺缺陷样本、麻点缺陷样本等收集建立起所有缺陷样本库；

步骤三，对样本库进行噪声处理，包括图像均值滤波，并对图像进行对比度增强和阈值分割；

1)图像均值滤波用其像素点周围像素的平均值代替原像素值，在OpenCV中，可以使用boxFilter和blur函数进行均值滤波；均值滤波的核为：

其中，ksize表示滤波核，ksize.width，ksize.height分别表示滤波核的长和宽；

2)对比度增强：使用伽马变换将灰度过高或者灰度过低的图片进行修正，增强对比度，使缺陷特征更加明显；变换公式就是对原图像上每一个像素值做乘积运算：

s＝cr^γ r∈[0，1]

其中，c和γ为正常数，r为输入像素值，s为输出像素值；

3)图像阈值分割利用图像中要提取的目标区域与其背景在灰度特性上的差异，把图像看作具有不同灰度级的两类区域，即目标区域和背景区域的组合，选取一个比较合理的阈值，以确定图像中每个像素点应该属于目标区域还是背景区域，从而产生相应的二值图像；

步骤四，收集建立起所有缺陷样本库输入至基于深度学习开源库搭建适用于金属表面缺陷检测的深度网络，进行特征提取与分类回归得到待检测目标的位置和置信度；

步骤五，搭建神经网络层，推算损失函数；

神经网络层包括五个依次级联的特征提取基本单元，每个特征提取单元包括依次连接的卷积层、归一化层、最大值池化层和平均值池化层；

卷积层利用卷积核对图像进行卷积计算，得到初步特征图；

归一化层采用7像素*7像素的核，在卷积层中得到的初步特征图上，对像素值进行均值和方差的归一化，归一化公式为：

Z＝P-u/σ

其中，Z表示结果值，P表示初始像素值，μ表示输入像素值的均值，σ表示输入像素值的方差；

最大值池化层，在归一化特征图上对7像素*7像素内的像素值取最大值，缩小数据量，实现特征的平移不变，得到特征图；

平均值池化层，在最大池化层中得到的特征图上，并对每个7像素*7像素核内的所有像素值取平均值，提供提前特征对于微小形变的鲁棒性，上述特征图即最终输出的特征图；

经过五个依次级联的神经网络特征提取，最终输出特征图像；

步骤六，在提取好的特征图上生成候选区域，用来判断区域内是否存在缺陷，对候选框进行分类与回归，判断每个候选框内是否包括待检测的物体，并将将所有可能包含待检测物体的区域进行组合、合并，并对区域位置进行调整；进行候选区域分类与回归的网络结构由全连接层完成；至此特征提取已经完成，并生成了候选区域，并对可能包含缺陷的候选区域进行了分类；

调整深度网络中的各个参数，包括卷积核，过拟合调整参数、损失函数等；

步骤七，完成参数调整，即完成模型训练，系统再读入需识别图像通过以上的神经网络模型，将得到的目标位置和置信度于训练模型结果进行对比，计算判断出缺陷位置和类型；

步骤八，输出检测结果，并对检测结果和结果图像进行可视化。