[发明专利]一种多图像融合的牛仔布瑕疵检测方法及装置

权利要求书

1.一种多图像融合的牛仔布瑕疵检测方法，其特征在于，所述方法包括：

步骤1：通过验布机构采集牛仔布图像数据，构建牛仔布图像数据的数据集，并通过标记机构人工标注所述牛仔布图像数据中有瑕疵的图像数据；

步骤2：定义拍摄机构在机体正面的光源机构作用下得到的图像为正面光源图像；

拍摄机构在机体背面的光源机构作用下得到的图像为背面光源图像；

将所述正面光源图像和背面光源图像一一对应形成一组牛仔布图像；

步骤3：将多组所述牛仔布图像进行预处理用于扩充所述数据集，得到均衡数据集；

步骤4：将所述均衡数据集进行MinPooling强化和差值组合三通道处理，并采用所述经过MinPooling强化和差值组合三通道处理的均衡数据集对神经网络进行训练；

步骤5：对所述神经网络训练选定的ROI用OHEM算法进行处理；

步骤6：使用完成训练的所述神经网络，对牛仔布进行检测，并对检测到瑕疵的牛仔布进行自动标记；

步骤3所述预处理包括：

步骤3.1：通过高斯滤波对牛仔布图像进行加权平均，得到消除高斯噪声的数据集；

步骤3.2：将牛仔布图像均衡化增强图像对比度；

步骤3.3：通过膨胀将牛仔布图像中高亮区域或白色部分进行扩张；

步骤3.4：对牛仔布图片进行边缘padding处理，在图像边缘将像素值设置为0，并填充为黑色背景；

对牛仔布图片进行随机裁剪处理，并对随机裁剪后的所述牛仔布图片进行去除图像边框处理；

步骤4所述MinPooling强化包括：

将牛仔布图片的像素值设为负值，并对牛仔布图片进行最大值池化，进而再次将牛仔布图片像素值取负，强化牛仔布图片中牛仔布细节纹理；

步骤4所述的差值组合三通道处理包括：

步骤4.2.1：设置牛仔布模板图像；

步骤4.2.2：设置融合图像，所述融合图像具有三个通道；

第一通道为待测牛仔布图片；

第二通道为牛仔布模板图像；

第三通道为对第一通道与第二通道的像素矩阵采用带权差值运算得到的差值图；

步骤4.2.3：将所述融合图像输入神经网络。

2.根据权利要求1所述的一种多图像融合的牛仔布瑕疵检测方法，其特征在于，步骤4所述神经网络包括两个并列的基于Faster-RCNN的特征提取网络模型；

分别以采集的正面光源图像和背面光源图像作为输入，对应的分别以ResNeXt50、ResNet50作为backbone，并加入可变形卷积，再使用PositionEncoding对特征进行位置信息编码；

提取出两组特征，将所述两组特征对应连接构成特征提取网络的输出特征向量。

3.基于权利要求1~2任一项所述的一种多图像融合的牛仔布瑕疵检测方法的牛仔布瑕疵检测装置，其特征在于，包括机体、支撑机构、旋转机构、电机以及传动装置，所述支撑机构设置于机体上，支撑机构包括用于放置牛仔布的支撑板；

所述电机设置于机体内部，电机通过传动装置连接旋转机构，并带动旋转机构转动，所述旋转机构固定于支撑机构上部；

机体上部还设置有验布机构，所述验布机构包括拍摄机构、光源机构和标记机构，拍摄机构用于建立图像数据、所述光源机构分设于机体正面及背面两侧，光源机构用于为拍摄机构提供充足光照，所述标记机构用于对具有瑕疵的图像数据进行标注。