[发明专利]一种基于语义轮廓信息的安检图像刀具检测分割方法

权利要求书

1.一种基于深度学习语义轮廓信息的刀具检测分割方法，其特征在于，具体包括：

1)输入一幅大小为W*H的原始图像，对应的边缘检测图像大小与原始图像相同，W为原始图像宽度，H为原始图像的高度；

2)将原始图像内容进行边缘检测，并且对监督样本二值图mask进行边缘检测，具体步骤如下：

①优化原始图像边缘检测模型：使用HED(Holistically-Nested Edge Detection)模型对原始图像内容进行边缘检测，并保留在Side-output4阶段的边缘检测图像；

②建立mask图像最优化模型：采用Laplace算子对mask进行边缘检测，目标是让mask图像中刀具边缘像素具有不同像素，靠近边缘中心具有较大权重，距离边缘中心越远，权重越小，很大程度上能够保留刀具轮廓信息；建立两个变量的离散Laplace算子函数为：

将公式(1)写成filter mask的形式如下：

1	1	1
1	-8	1
1	1	1

公式(1)中，x、y分别为图像上x轴、y轴的坐标点；公式(1)的原始推导过程需要先定义最简单的二阶微分拉普拉斯算子，拉普拉斯算子是二阶微分线性算子，在图像边缘处理中，二阶微分的边缘定位能力更强，锐化效果更好，因此在进行图像边缘处理时，直接采用二阶微分算子而不使用一阶微分：

公式(2)中，任意阶微分都是线性操作，所以Laplace算子是一个线性算子，分别对Laplace算子x,y两个方向的二阶导数进行差分就得到了离散函数的Laplace算子；在一个二维函数f(x,y)中，x,y两个方向的二阶差分分别：

公式(2)(3)能够得出离散Laplace算子函数；

3)将原始图像和对应其边缘二值图像作为训练样本，同时输入到MaskRCNN网络中，对刀具的特征与刀具语义轮廓信息特征拼接，最后通过添加边缘语义分割任务实现多任务策略；该步骤具体包括：

①设计RPN(Region Proposal Networks)孪生网络结构，利用RPN将原始图像和对应其边缘二值图像输入到网络中，分别对刀具整体和刀具边缘信息提取特征，在ResNet网络的block5阶段进行特征拼接；目标是最有效利用刀具语义轮廓特征，让刀具重要的特征尽可能的增加权重，其中，

RPN损失函数为：

公式(4)中，N_cls表示类别数，取值为2，N_reg表示回归坐标数量，取值为4，i表示第i个锚点，p_i表示锚点i预测是否为目标的概率，当锚点是正样本时负样本则为t_i表示第i个锚点预测box的4个参数化坐标的矢量，表示一个与正样本锚点相关的groundtrue box坐标，超参数λ表示平衡因子，是为了平衡分类损失和回归损失，根据交叉验证来确定取值为10，L_cls表示二分类softmax损失函数，L_reg表示回归损失，使用的是Smooth-L1函数，分别为：

公式(5)中，e是自然常数，表示softmax层的前一层特征输出值，是自然常数e的指数，i表示类别索引，取值范围[1,j]的整数，j表示刀具类别数，取值为2；

公式(6)中，x表示预测框与ground truth之间的差异值；

②建立刀具边缘语义分割任务分支，与分类任务分支、检测任务分支和刀具分割任务分支并列，目标是缩短训练时间，更准确沿着边缘分割，一方面是由于神经网络的深度过大，更复杂的任务可以优化网络性能，另一方面刀具边缘语义分割任务能够影响其他的任务精度，并且是好方面影响，对于预测的二值掩膜输出，对每个像素点应用sigmoid函数，整体损失定义为平均二值交叉损失熵(average binary cross-entropy loss)；引入预测K个输出的机制，允许每个类都生成独立的掩膜，避免类间竞争，目的是解耦了掩膜和种类预测；

平均二值交叉熵损失函数:

公式(7)中，i表示第i个像素，p_i表示像素点i预测在刀具上的概率，当像素点在刀具上时反之则为

定义模型总损失函数：

L_MRCNN＝L_Class+L_Box+L_Mask+L_Edge+L(p_i，t_i) (8)

公式(8)中，L_Class损失函数为：

公式(9)中，e是自然常数，表示softmax层的前一层特征输出值，是自然常数e的指数，i表示类别索引值，取值范围[1,j]的整数，j表示刀具类别数，取值为2；

L_Box损失函数同样使用Smooth-L1函数：

公式(10)中，x表示刀具预测框与ground truth之间的差异值；L_Mask损失函数：

公式(11)中，i表示第i个像素，p_i表示像素点i预测在刀具的概率，当像素点在刀具上时反之则为

③求解该最优化模型，L_MRCNN损失函数降低到稳定区间；

4)向训练好的检测分割模型进行测试，输入原始安检图像内容，进而获得刀具检测分割结果图像。