[发明专利]一种基于双分支卷积神经网络的红外图像边缘增强方法

权利要求书

1.一种基于双分支卷积神经网络的红外检测图像边缘增强方法，其特征在于，其步骤为：

步骤(1)：采集红外无损检测图像，构建专用数据集， 通过专业红外无损检测人员来手工标记红外图像中的边缘信息，生成二值图像作为监督信号；

步骤(2)：双分支卷积网络包括原始图像分支和边缘图像分支，原始图像分支用于提取原始图像中的特征，最终的输出为与输入同尺寸的二值图像；同样地，边缘图像分支用于提取边缘图像中的特征，其最终输入为与输入同尺寸的二值图像；

具体为，原始图像分支由特征提取模块、特征重组模块、CA模块，通道注意力机制模块、特征融合与降维模块组成；

首先将原始图像输入原始图像分支，经过各模块处理后，输出红外图像的边缘二值图像；

具体为，边缘图像分支由特征提取模块、特征融合与降维模块组成；该分支的输入是原始图像的梯度图像，即边缘图像，经过各模块处理后，输出红外图像的边缘二值图像；

步骤(3)：从训练集中随机提取出多张图像作为Batch，作为原始图像分支网络的输入；将Batch中的图像转化为灰度图像后，对每张图像计算梯度图，作为边缘图像分支网络的输入；

步骤(4)：将步骤(3)中的原始图像Batch和梯度图Batch输入对应的分支网络中，分别通过特征提取模块提取输入图像的特征；

步骤(5)：将步骤(3)中，边缘图像分支网络提取到的特征，通过Concat方式输入到原始图像分支网络中，将两个分支提取到的特征进行重组，以强化边缘特征，并形成高维度的特征；通过CA模块，对高维度特征的每个通道进行权重优化，以提高网络性能；

步骤(6)：在原始图像分支中，将重组特征输入到后续的特征融合和降维模块，最终输出缺陷边缘的二值图像；同样地，在边缘图像分支网络中，对特征进行融合和降维，输出缺陷边缘的二值图像；

步骤(7)：损失函数由两部分组成，第一部分为原始图像分支网络的输出与监督信号间的损失，第二部分为边缘分支网络的输出与监督信号间的损失，通过超参数调整两部分损失的权重，并将两部分损失相加作为网络的整体损失；

步骤(8)：通过随机梯度下降对网络参数进行优化，更新网络参数；

步骤(9)：重复步骤(3)～步骤(8)，直到达到训练停止条件或训练最大次数，保存训练好的网络模型。

2.根据权利要求1所述的基于双分支卷积神经网络的红外检测图像边缘增强方法，其特征在于：

步骤(1)：采集红外无损检测图像，构建专用数据集；手工标记红外图像中的边缘信息，生成二值图像作为监督信号；

共采集2000张红外无损检测，通过人工标记生成二值图像作为监督信号，每张红外图像与对应边缘图像形成图像对；数据集中含有2000对图像，2000张为RGB图像，2000为二值图像；按照3：1：1的比例划分为训练集，验证集和测试，其中训练集含有1200对图像，验证集和测试集中各含有400对图像；

步骤(2)：双分支卷积网络包括原始图像分支和边缘图像分支，对于原始图像分支网络由特征提取模块、特征重组模块、CA模块(通道注意力机制模块)、特征融合与降维模块组成；

特征提取模块由卷积层、BN层和激活层组成，卷积层通道设置为(3，128)，卷积核大小为3，步长为1，padding为1；BN层用于对特征的批标准化，防止过拟合；激活层为ReLU激活函数，解决梯度爆炸对网络训练的影响；

特征重组模块是将边缘图像分支网络中提取的特征与原始图像特征进行组合，组合后的特征通道数为256，并由CA(SENet)来调整通道的权重；

特征融合与降维模块，由卷积层、BN层和激活层组成，卷积层中，卷积核大小均设置为3，步长为1，padding为1，通道数见图1所示，激活层均为ReLU函数；

对于边缘图像分支由特征提取模块、特征融合与降维模块组成； 对于边缘图像分支网络由特征提取模块、特征融合与降维模块组成；

特征提取模块由卷积层、BN层和激活层组成，卷积层通道设置为(1，128)，卷积核大小为3，步长为1，padding为1；BN层用于对特征的批标准化，防止过拟合；激活层为ReLU激活函数，解决梯度爆炸对网络训练的影响；

特征融合与降维模块，由卷积层、BN层和激活层组成，卷积层中，卷积核大小均设置为3，步长为1，padding为1，激活层均为ReLU函数；

步骤(3)：从训练集中随机提取出20张图像作为Batch，作为原始图像分支网络的输入；将Batch中的图像转化为灰度图像后，对每张图像计算梯度图，作为边缘图像分支网络的输入；设I为原始图像，则灰度图像I_gray＝RGB2GRAY(I),梯度图像为

步骤(4)：将步骤(3)中的原始图像Batch和梯度图Batch输入对应的分支网络中，分别通过特征提取模块提取输入图像的特征；

步骤(5)：将步骤(3)中，边缘图像分支网络提取到的特征，通过Concat方式输入到原始图像分支网络中，形成高维度的特征，特征通道数为128*2；通过CA模块，对高维度特征的每个通道进行权重优化，以提高网络性能；

特征的维度较高，引入注意力机制可以有效的提高网络的性能，即CA模块；设为某一卷积层的输出，W、H、C为特征图的宽、高和通道数，通过SE模块计算出注意力为：

ω＝σ(f{W₁,W₂}(g(χ)))

式中，g(χ)表示全局平局池化操作，σ是Sigmoid函数；

令y＝g(χ)，f{W₁,W₂}从下式得到：

f{W₁,W₂}y＝W₂RELU(W₁y)

式中，为减少模型参数量，W₁和W₂的尺寸分别设置为和

步骤(6)：在原始图像分支中，将重组特征输入到后续的特征融合和降维模块，最终输出缺陷边缘的二值图像；同样地，在边缘图像分支网络中，对特征进行融合和降维，输出缺陷边缘的二值图像；

步骤(7)：网络的损失函数由两部分组成，第一部分为原始图像分支网络的输出与监督信号间的损失，第二部分为边缘分支网络的输出与监督信号间的损失，将两部分损失相加作为网络的整体损失，第一部分采用MSE损失，第二部分采用L1损失，超参数α＝0.85,具体如下：

Loss＝MSE_loss(output1,label)+α·L1_loss(output2,label)；

步骤(8)：通过随机梯度下降对网络参数进行优化，更新网络参数；采用动量梯度下降更新参数，学习率设置为0.001，动量设置为0.9；

步骤(9)：重复步骤(3)～步骤(8)，直到达到训练停止条件或训练最大次数，保存训练好的网络模型。