[发明专利]一种针织鞋面布料的轮廓检测方法

权利要求书

1.一种针织鞋面布料的轮廓检测方法，其特征在于，包括如下步骤：

S1.数据获取：数据集来源有两种，第一类是来源于方法[Xie S 2015]提供的HED-BSDS数据集，第二类是在工业相机下对针织鞋面布料的轮廓进行实际打灯拍摄的图像，HED-BSDS数据集提供了取自各种场景的图像，对获取的图像进行如下处理：

S11：图像对的匹配：由于数据获取需要以图像-人工标注图的形式一一对应，所以需要将图像和人工标注图像这两部分数据图像来源均处理为图像对，人工标注图像的获取是通过工具lableme进行人为标注图像目标后通过globalPb算法提取图像边缘来获取得到；

(1)将图像和人工标注图像进行图像裁剪为341*481的尺寸大小；

(2)通过python脚本分别对图像和人工标注图像生成两个文件，一个是train.lst文件，train.lst文件里包含训练的图像和人工标注图像一一对应的图像路径，另一个文件是test.lst文件，test.1st文件里的内容和train.lst文件里的内容一样，都是路径对应的图像进行一一匹配，使得图像和人工标注图形成了图像对；

S12：数据操作函数的准备：包括数据集路径的读取，数据及图像的格式归一化、读取和存放、顺序的打乱、尺寸的裁剪以及参数量的判断；

S2.构建主干网络：主干网络对输入图像进行特征提取，而提取输入图像的信息，是后续视觉任务需要的基础，主干网络主要由以下几步构成：

S21：构建差分卷积：将传统图像进行边缘检测时的求梯度操作整合到深度学习中，对图像卷积时先计算卷积核覆盖的图像区域的像素的梯度并保存，接着把求解出的梯度和卷积核进行卷积，完成差分卷积的构建，得到卷积块；

S22：构建特征提取块：基于差分卷积构建特征提取块，特征提取块通过对卷积块进行不同数量的堆叠以形成一个模块来对图像进行特征提取，特征提取块中卷积块的数量是4块，然后堆叠特征提取块形成主干网络，图像进入主干网络残差层的尺寸大小为341*481，特征通道第一阶段channels＝60，第二阶段channels＝120，第三阶段channels＝240，第四阶段channels＝240，特征通道对输入的图像输出为特征图，若对每个阶段输出的特征图直接进行整体特征提取，计算量和参数量大，计算量的计算公式为：

MAC＝C_in*kernel_size*kernel_size*H_out*W_out*C_out，

为优化网络，降低运算时间使网络模型满足于工业领域的实际应用，在特征提取阶段对特征通道进行通道分离和分别对分离的通道进行卷积，以减小C_in来降低MAC，依据轻量级网络设计原理理念，首先使用深度可分离操作进行图像的特征通道分离，接着使用点卷积操作使得每个通道的信息交互，设group_numbers＝in_channels，即将特征通道分为in_channels组，即每组只有一个通道，然后每一个卷积核只负责对一个通道进行特征提取，产生in_channels个特征图，然后再通过点卷积使得每个通道的信息交互，即采用1*1conv把每个子特征图重新输出成一个特征图，通过深度可分离和点卷积操作，计算量的计算公式为：

MAC＝C_in*kernel_size*kernel_size*H_in*W_in+1*1*H_out*W_out*C1_in*C_out，通过深度可分离的操作，使得参数量少了group_numbers倍，加快了网络模型的训练和推理速度，常规情况下的残差层以ResNet方式进行堆叠，采用跳跃连接方式解决模型退化问题，表示为：

y＝C(x)+x；

S23.构建下采样模块：通过步长strides＝2的卷积来对图像进行下采样；

S3.构建边缘网络：边缘网络由通道注意力模块、空间注意力模块、多尺度特征提取模块、上采样模块、细化模块、跨层权重分配策略和通道动态划分算法构成；

S31.构建通道注意力模块：通道注意力通过全局平均池化和全局最大池化的方式把尺寸缩小至1*1，然后把这两者池化方式的注意力进行相加得到最后的通道注意得分，通道注意力的公式如下所示：

F_c＝σ(Avg(f_avg)+Avg(t_max))；

S32.构建空间注意力模块：空间注意机制的设置首先通过卷积的方式把一个有in_channels数的通道数，通过卷积进行特征提取并且把通道数降维至4通道，然后再进行一次卷积操作提取特征并把通道数降维至单通道，最后通过sigmoid函数计算空间注意力得分，空间注意力的公式如下所示：

F_s(c＝1)＝σ(f^H*W(c))；

S33.构建多尺度特征提取模块：多尺度特征提取模块通过采用不同空洞率的卷积核对同一个特征图进行特征提取，旨在获取特征图的语义信息，采用的空洞率d分别为d＝3，d＝5，d＝7，d＝9，d＝11；最后将不同空洞率下提取的特征图进行相加得到最终特征图来获得语义信息，多尺度特征提取的公式如下所示：

S34.构建上采样模块：由于反卷积操作实现重建图像的尺寸和通道转换，操作简单但易出现由于卷积步长无法整除卷积核尺寸而造成的明暗不均衡现象，这类现象也称为“棋盘伪影”，上采样模块技术采取双线性插值法和卷积操作实现重建图像尺寸和通道的转换，通过直接采用双线性插值对图像进行放大处理来达到上采样的目的，在插值算法之后再使用普通卷积层实现图像特征通道匹配，重复操作两次后将重建图像尺寸转换为in_channe/2输出，双线性插值算法的思想简述为：用原图像的四个特征点来估算重建新图像的一个点，在坐标中的x和y两个方向上进行三次的单线性插值运算，若求新图像标，则须知原图像Q₁₁、Q₁₂、Q₂₁、Q₂₂四个点的坐标，在x轴上进行两次单线性插值运算，即利用Q₁₁和Q₂₁两点求R₁坐标，利用Q₂₁、Q₂₂两点求R₂坐标：

将求得的R₁、R₂两点坐标进行单线性插值运算，求得重建图像的P点坐标：

S35.提出一个细化模块：由于最终的边缘粗、厚，所以细化模块的设计的原理是去线性，引入非线性，首先通过两路并行路线对特征图进行处理，其中一路通过引入亚像素卷积增加非线性，以打乱空间的线性化，另一路通过不同的激活函数增加非线性去打乱空间上过多的线性关系，细化模块的公式如下所示：

F(x)＝PS(W_L*f^L-1(x^LR)+b_L)+σ(RELU(x))；

S36.提出一种跨层权重分配策略：通过提出一种跨层权重分配策略使得低层次的特征图拥有高层次的语义信息，便于边缘细节的准确定位，首先通过计算每个阶段的特征图的一个权重，然后得出一组权值，最后把这组权值重新分配，即高层次特征图计算出来的权值分配到低层次的特征图中，进而让低层次的特征图拥有语义信息，凸显主体信息，跨层权重分配策略的公式如下所示：

F(x₁，x2)＝σ(x₁)*x₂+σ(x₂)*x₁；

S37.提出一种通道动态划分算法：在针织鞋面布料图像的轮廓边缘检测中，纹理细节至关重要，然而在深层网络中，细节信息已经丢失了，为了保留细节，提出了通道动态划分算法，首先通道的重要性计算特征图的权重找出每个通道所拥有的信息量，然后设定阈值抽离出拥有不同信息量的通道进行分组，最后对这些不同的分组进行额外不同加权的处理，通道动态划分算法的公式如下所示：

C＝C₁+C₂+C₃；

S4.损失函数的设置：在训练阶段，采用[liu Y 2017]方法中的标注者-鲁棒损失函数，损失函数来源有两部分：

(1)标注者-鲁棒损失函数：

(2)Dice损失函数：

Dice损失函数的目的是找到预测的边缘图像和人工标注的边缘图像间的特征映射差异，然后最小化这个差异，以得到精细的边缘，故总损失表示为：

S5.参数配准，训练网络模型：训练参数具体设置如下所示：

batch_size＝24、max_epoch＝20、Optimizer＝Adam、learning_rete＝5*10^-3、decay_step＝10epoch patch_size＝1200。