[发明专利]基于前后背景分卷积神经网络的X光违禁物品检测方法

权利要求书

1.一种基于前后背景分离卷积神经网络的X光违禁物品检测方法，其特征在于包括如下步骤：

(1)获取训练样本集和测试样本集：

(1a)获取V幅包含不同类别违禁物品的X光图像O＝{o_i|1≤i≤V}，并对每幅X光图像o_i中的违禁物品类别及位置坐标进行标注，得到类别标签集和位置坐标标签集其中，V＞8000，o_i表示第i幅X光图像，和分别表示o_i所包含的违禁物品的类别标签和位置坐标标签，表示第u类违禁物品，U表示违禁物品类别标签的总数，U≥2，和分别表示所围成的标记框中心的横坐标、标记框中心的纵坐标、标记框的宽和标记框的高；

(1b)将随机选取O中半数以上的违禁物品X光图像及其对应的类别标签和位置坐标标签组成训练样本集O_train＝{o_j|1≤j≤V_train}，V/2＜V_train≤V，将其余违禁物品X光图像及其对应的类别标签和位置坐标标签组成测试样本集O_test＝{o_l|1≤l≤V_test}，其中，o_j表示训练样本集中的第j张X光图像，o_l表示训练样本集中的第l张X光图像，V/2＜V_train≤V，V_test＝V-V_train；

(2)构建前后背景分离卷积神经网络模型：

(2a)构建前后背景分离卷积神经网络模型的结构：

构建包括顺次连接的特征提取网络f_extract、前景解码器网络f_{decoder_foreground}、注意力网络f_attention和输出网络f_output，和连接在特征提取网络f_extract后的另一分支背景解码器网络f_{decoder_background}，其中，特征提取网络f_extract包括输入层、多个卷积模块和多个残差模块；前景解码器网络f_{decoder_foreground}、背景解码器网络f_{decoder_background}均包括多个上采样层、多个卷积模块和多个shortcut拼接层；注意力网络f_attention包括多个卷积模块；输出网络f_output包括多个卷积层、多个归一化层和多个激活函数层；

(2b)定义前后背景分离损失函数Loss_fb：

Loss_fb＝|f_predict-f_target|+|o_predict-o_j|+λ_in(|f_{in_predict}-f_{in_target}|+|o_{in_predict}-o_in|)

o_predict＝f_predict·b_predict

其中o_j表示训练样本集O_train中的一幅图像，f_predict表示图像o_j的预测前景图像，b_predict表示图像o_j的预测背景图像，o_predict表示由图像o_j的预测前景f_predict和预测背景b_predict重构的图像，f_target表示图像o_j的目标前景图像，f_{in_predict}表示预测前景f_predict在图像o_j的位置坐标标签范围内的图像，f_{in_target}表示目标前景f_target在图像o_j的位置坐标标签范围内的图像，o_{in_predict}表示重构图像o_predict在图像o_j的位置坐标标签范围内的图像，o_in表示图像o_j在图像o_j的位置坐标标签范围内的图像，λ_in为位置坐标内外平衡参数；

(2c)定义类别和定位损失函数Loss_lc：

其中，K表示将图像o_j划分成网格的网格数量，M表示候选框anchor的数量,表示图像o_j在网格点m，n处的候选框anchor内存在违禁物品，表示图像o_j在网格点m，处的候选框anchor内是否存在违禁物品，w表示图像的o_j预测标记框的宽度，h表示图像o_j的预测标记框的高度，x表示图像的o_j预测标记框中心的横坐标，y表示图像o_j预测标记框中心的纵坐标,C表示图像o_j在预测标记框内存在违禁物品的置信度，表示图像o_j在预测标记框内实际存在违禁物品，p(c)表示图像o_j的预测标记框内违禁物品属于第c类违禁物品的概率，表示图像o_j的预测标记框内是否存在第c类违禁物品，λ_coord表示定位平衡参数，λ_noobj表示类别平衡参数；

(3)对前后背景分离卷积神经网络进行迭代训练：

(3a)初始化特征提取网络f_extract的网络权重参数为前景解码器网络f_{decoder_foreground}的网络权重参数为背景解码器网络f_{decoder_background}的网络权重参数为注意力网络f_attention的网络权重参数为输出网络f_output的网络权重参数为迭代次数为t，最大迭代次数为T≥50，并令t＝0；

(3b)将训练样本集O_train中的每幅图像o_j作为特征提取网络f_extract的输入，每幅图像o_j在特征提取网络中进行前向传播，得到图像o_j的高级特征

(3d)将图像o_j的高级特征分别作为前景解码器网络f_{decoder_foreground}和背景解码器f_{decoder_background}的输入进行重构，得到图像o_j的预测前景和预测背景

(3e)由预测前景和预测背景构建图像o_j的目标前景和目标背景

其中，表示图像o_j在位置坐标标签范围内的图像，表示图像o_j中除以外部分的图像，表示与之间的差异，threhold为差异阈值；

(3f)将图像o_j的预测前景作为注意力网络f_attention的输入f_attention进行向前传播，得到图像o_i的注意力图

(3g)将图像o_j的注意力图与图像o_j的高级特征相乘，得到图像o_j关注于预测前景的高级特征

(3g)将图像o_j关注于预测前景的高级特征作为输出网络f_output的输入进行向前传播，得到图像o_i的所包含违禁物品的预测位置坐标标签置信度信息和预测类别标签概率

(3h)采用损失函数Loss_fb，当t＝0，通过计算前后背景分离损失函数Loss_fb，当t≥1，通过计算前后背景分离损失函数Loss_fb；采用损失函数Loss_lc，并通过C_jt、计算类别和定位损失函数Loss_lc；将前后背景分离损失函数Loss_fb与类别和定位损失函数Loss_lc相加得到前后背景分离卷积神经网络总损失函数Loss＝Loss_fb+Loss_lc，再采用反向传播方法并通过Loss计算f_extract、f_{decoder_foreground}、f_{decoder_background}，f_attention和f_output的网络权重参数梯度，然后采用梯度下降算法通过f_extract、f_{decoder_foreground}、f_{decoder_background}，f_attention和f_output的网络权重参数梯度对f_extract、f_{decoder_foreground}、f_{decoder_background}，f_attention和f_output的网络权重参数θ_extract,θ_{decoder_foreground}，θ_{decoder_background}，θ_attention和θ_output进行更新；

(3f)判断t≥T是否成立，若是，得到训练好的前后背景分离卷积神经网络模型，否则，令t＝t+1，并执行步骤(3b)；

(4)获取X光违禁物品图像识别结果：

(4a)将测试样本集O_test中的每一个测试图像o_l作为训练好的前后背景分离卷积神经网络模型的输入进行前向传播，得到违禁物品的预测位置坐标标签(x_l,y_l,w_l,h_l)，置信度信息C_l和类别标签概率p_l(c)；

(4b)将测试图像o_l预测的置信度信息C_testi中大于0.5的结果所对应的预测位置坐标标签(x_l,y_l,w_l,h_l)和类别标签概率p_l(c)中最大值对应的违禁物品类别分别作为测试图像o_l违禁物品的位置预测结果和类别预测结果。