[发明专利]基于双向信息传递及特征融合的织物疵点检测方法

说明书

本发明提出了一种基于双向信息传递及特征融合的织物疵点检测方法，其步骤为：首先，采用改进的VGG16网络提取织物图像的多级多尺度中间深度特征图，并通过双向信息传递模块进行处理，得到多级深度特征图；其次，引入空间邻域对比特征提取模块，对多级深度特征图进行处理，得到局部特征图；最后，采用非局部特征融合模块对局部特征图和多级深度特征图进行有效融合，获取更准确的疵点图像的最终显著图。本发明综合考虑了织物图像背景的复杂性和疵点类型的多样性，通过双向信息传递模块在不同层级间互相传递信息，同时空间邻域对比特征提取模块提升多级多尺度特征对织物图像的表征能力，使得检测结果具有更好的自适应性和检测精度。

技术领域

本发明涉及纺织品图像处理技术领域，特别是指一种基于双向信息传递及特征融合的织物疵点检测方法。

背景技术

织物疵点检测在纺织品制造业中对于产品质量控制起到非常重要的作用。由于织物瑕疵类型的多样性以及纺织品纹理的复杂性，给织物疵点检测带来了诸多困难，使其难以设计一种广义的方法。先前大多工厂通常采用人工视觉的检测方法，但是由于人的观察是有限的，且长时间连续工作的工人可能会因为疲劳而产生误检，漏检等，造成额外的物力和财力的损失。因此，实现织物疵点检测自动化成为纺织品企业必然的发展趋势。

视觉显著性旨在模拟人的视觉系统自动地识别和定位视觉场景中的主要目标。纺织品上的疵点即对应视觉场景中的前景目标，所以将显著模型应用于织物疵点检测是十分可行的。早期的织物疵点检测算法主要通过手工制作的特征去捕捉局部细节和全局背景信息，但由于缺少高级语义信息，限制了其对织物背景复杂的疵点的检测。基于视觉显著性的检测方法有经典的统计分析方法，频域分析方法和字典学习等，虽然取得一定的效果，但是提取特征不能很好的描述复杂的织物纹理，显著度计算方法不能满足工业现场的要求，对疵点与背景差别较小的织物图像检测效果差强人意。

全卷积网络FCN(Fully ConvolutionalNetwork)在语义分割、图像分类、物体检测等视觉类任务方面以其强大的特征提取能力而备受关注。近年来，相关学者提出许多基于FCN的显著目标检测模型。首先大多基于FCN的显著目标检测模型通过堆叠单尺度卷积和池化操作来生成深度显著图，如文献[L.Wang,H.Lu,X.Ruan,and M.Yang.Deep networks forsaliency detection via local estimation and global search[C]//Proceedings ofthe IEEE conference on computer vision and pattern recognition,2015.]。但由于织物疵点的尺寸不同，单尺度卷积无法捕捉到合适的尺寸，有限的接受域使得网络无法学习包含丰富上下文信息的特征，无法准确检测出各种类型的织物疵点。其次许多尝试直接使用深层的高级特征来执行预测任务或者单向地融合不同层次的特征用于生成最终的显著性图，如文献[L.Wang,L.Wang,H.Lu,P.Zhang,and X.Ruan.Saliency detection withrecurrent fully convolutional networks[C]//Proceedings of the IEEE conferenceon computer vision and pattern recognition,2016]。但为了识别织物图像中有缺陷的部分，需要局部和全局的上下文信息。然而，这些单向框架只是从浅层到深层或从深层到浅层执行，忽略了相反方向的信息传输。因此，高层次的输出必然缺少浅层所包含的低层次空间细节。