[发明专利]一种基于特征融合的深度神经网络表面缺陷检测方法

说明书

一种基于特征融合的深度神经网络表面缺陷检测方法。该方法采用了编码器‑解码器网络结构，特征提取模块采用ResNet50提取表面缺陷特征，得到各卷积层特征；然后利用编码特征融合模块将各卷积层特征融合，有利于表面缺陷的准确检测；最后利用两级级联解码模块，实现表面缺陷的检测。编码特征融合模块和两级级联解码模块能够实现表面缺陷特征的深度融合，使表面缺陷定位更准确。在各级解码模块的输出端增加了边界求精模块，并通过卷积融合拼接后的两级解码模块输出，得到最终检测结果。本方法可以有效提高表面缺陷检测的准确性。

技术领域

本发明涉及表面缺陷检测领域，尤指一种基于特征融合的深度神经网络的表面缺陷检测方法。

背景技术

随着深度学习技术的快速发展,基于图像的深度学习识别技术在人脸和车牌识别等领域得到了应用，体现了其优越性。同时，在表面缺陷的自动化检测研究中，研究者们对基于图像的深度学习表面缺陷检测进行了大量深入地研究。有研究者基于太阳能缺陷在不同光谱上的特征不同，设计了一个具有三分支的卷积网络模型来判别太阳能的缺陷类型，各分支网络结构相同；也有研究者采用深度卷积神经网络实现对图像中桥梁裂缝的检测，检测时采用滑动窗口扫描整个图像，并通过对每个窗口图像的分类，来实现对桥梁裂缝的检测，但他们的模型主要用于缺陷分类识别,没有对缺陷进行定位检测。为此，有研究人员通过将路面裂缝图像分成若干的小图像块，先利用卷积神经网络对图像块进行分类识别，再采用改进的窗口滑动算法对裂缝进行检测，但该方法存在着计算量较大的缺陷。也是研究者采用特征金字塔和层次提升网络进行路面裂缝的检测，其利用特征金字塔方式将上下文信息汇集到低层特征以进行裂缝的检测，并利用特征金字塔各层特征进行监督训练和特征融合，实现对路面裂缝的检测，但该模型检测的裂缝精细度不够，精准率有待进一步提升。还有研究者利用金字塔特征融合和注意力机制实现对表面缺陷的检测，其首先对VGG16网络提取的表面缺陷最高层特征利用不同数量和不同类型的卷积进行特征再次提取，然后利用全局上下文注意力模块进行相邻特征的融合，并将各层特征上采样后拼接融合得到表面缺陷检测结果，该表面缺陷检测模型在表面缺陷检测的性能上仍有较大提升空间。

在表面缺陷检测过程中，由于采集的图像尺寸和表面缺陷结构(包括表面缺陷的颜色、形状和大小等)的差异，给表面缺陷的检测带来了困难。为了解决检测目标尺度变化的问题，有研究者提出了如采用空间金字塔SPP结构和采用空洞卷积的空间金字塔ASPP结构，但SPP结构的池化操作以损失局部信息为代价，ASPP的空洞卷积操作易出现棋盘伪影效应。同时，光照变化和光照不均也会对检测产生较大影响。

发明内容

为解决上述问题，本发明主要目的在于，提供一种自动准确地进行表面缺陷检测手段，以提高表面缺陷检测的效率。本发明主要是将深度学习技术应用于表面缺陷检测,提出了一个基于特征深度融合的表面缺陷检测网络。

本发明的该网络是基于编码器-解码器网络框架，其可采用ResNet50作为特征提取模块，用以提取表面缺陷的特征；为使ResNet50各卷积层的特征具有全局信息，设计了编码特征融合模块实现对各卷积层特征的信息融合。

另外，本发明的方案在解码阶段，采用了两级解码器结构，各级解码器结构相同，以实现高低层特征的深度融合。最后，通过卷积进行各级解码器输出的融合，实现表面缺陷的检测，提高表面缺陷检测的准确性。

具体来说，本发明的一种基于特征融合的深度神经网络的表面缺陷检测方法，采用编码器-解码器网络框架，为提高表面缺陷检测的准确性，并充分利用编码器各卷积层得到的特征，采用编码特征融合模块融合特征提取模块各卷积层特征，使各层特征都包含全局信息。