[发明专利]一种基于特征感知的元器件表面缺陷检测方法

权利要求书

1.一种基于特征感知的元器件表面缺陷检测方法，其特征在于，包括以下步骤：

1)采集待检测的元器件的RGB图像；

2)将RGB图像通过缺陷空间映射网络，得到缺陷空间映射图，其中，所述缺陷空间映射网络包含通道注意力网络和空间注意力网络；

3)将RGB图像进行关键的点定位，得到关键点坐标；

将缺陷空间映射图输入区域建议网络，获得ROI区域，同时将缺陷空间映射图输入主干网络得到特征图，并进行ROIpooling处理，得到感兴趣区域ROIs；

将缺陷空间映射图进行超像素快速分割，得到多背景区域；

4)根据得到的多背景区域与ROIs，通过ROIs找到其相交背景区域，进行区域特征融合，即将相交的背景区域与ROIs特征融合；

5)根据得到的关键点坐标，将ROIs与关键点坐标进行比对，分别在横向与纵向方向得到两个相同尺寸的ROI区域，称为双近邻ROI区域特征，比对双近邻ROI区域特征，将比对结果向量作为感兴趣区域ROIs的特征向量；

6)将特征向量送入全连接层，进行分类与边框回归，识别出检测对象的类别和位置并标注。

2.根据权利要求1所述的一种基于特征感知的元器件表面缺陷检测方法，其特征在于，在步骤1)中，将检测对象置于图像采集装置上，光学系统通过相机、图像采集卡到达计算机，通过计算机渲染技术得到检测对象的RGB图像。

3.根据权利要求2所述的一种基于特征感知的元器件表面缺陷检测方法，其特征在于，在步骤2)中，将RGB图像输入缺陷空间映射网络，并进行通道concact，得到通道注意力向量，通道注意力向量分别经过maxPool与AvgPool并行输入全连接FC层，然后进行以下操作：首先进行Squeeze操作，Squeeze操作将空间维度进行特征压缩，即每个二维的特征图变成一个实数，相当于具有全局感受野的池化操作，特征通道数不变；然后是Excitation操作，Excitation操作通过参数channel attention模块为每个特征通道生成权重，channelattention模块被学习用来显式地建模特征通道间的相关性，channel attention模块使用了一个2层bottleneck结构，先降维再升维的全连接层+Sigmoid函数来实现；得到了每一个特征通道的权重之后，就将相应权重应用于原来的每个特征通道，基于特定的任务，学习到不同通道的重要性，得到缺陷通道注意力映射图F；

接着，将缺陷通道注意力映射图F输入空间注意力网络，将channel attention模块输出的缺陷通道注意力映射图F作为空间注意力网络的输入特征图，然后进行以下操作：首先，该特征图经过最大池化MaxPool和平均池化AvgPool，得到两个H×W×1的权重向量，H为高度，W为宽度，；该特征图的通道数从[C,H,W]变为[1,H,W]，C为特征图层，对同一特征点的所有通道池化，得到2个特征图；然后将这2个特征图基于channel做concat操作，即通道拼接，形成[2,H,W]的特征图空间权重，然后特征图空间权重经过一个7×7卷积(7×7比3×3效果要好)操作，降维为1个channel，得到[1,H,W]的特征图，这[1,H,W]的特征图表征了特征图上的每个点的重要程度，数值大的更重要，[1,H,W]的特征图再经过sigmoid生成spatial attention feature，最后将该spatial attention feature和空间注意力网络的输入做乘法，得到生成的映射图s，将映射图s超尺度变换为缺陷空间映射图。

4.根据权利要求3所述的一种基于特征感知的元器件表面缺陷检测方法，其特征在于：在步骤3)中，根据图像特征，采用边缘检测与先验图像操作提取轮廓，然后根据进行灰度分割，之后进行关键点定位。