[发明专利]一种基于样本重加权的遥感图像多类目标检测方法

权利要求书

1.一种基于样本重加权的遥感图像多类目标检测方法，其特征在于步骤如下：

步骤1，图像数据预处理：首先，对原始遥感图像数据集中的图像进行数据增广处理，然后，对处理后的图像进行尺度缩放，使所有输入图像具有相同的尺寸；

步骤2，构建目标检测网络，包括特征提取模块、特征增强模块和检测头部模块，其中，特征提取模块采用修改后的VGG16网络，即将VGG16的全连接层FC6替换为卷积核为3×3、卷积步长为1、卷积增补为6、空洞卷积率为6的卷积层，将全连接层FC7替换为卷积核为1×1、卷积步长为1的卷积层，输入图像经过特征提取模块得到长宽尺寸依次递减的多尺度特征图{C_A1,C_A2,C_A3,C_A4,C_A5,C_A6,C_A7}；特征增强模块对{C_A1,C_A2,C_A3,C_A4}这4组特征图进行处理，针对特征图{C_A1}分别采用3×3和5×5的卷积核进行卷积操作得到{C_A13,C_A15}，并将原特征图{C_A1}与卷积后的特征图{C_A13,C_A15}的对应元素相加，得到融合后的特征图{C'_A1}，针对特征图{C_A2}分别采用3×3和5×5的卷积核进行卷积操作得到{C_A23,C_A25}，并将原特征图{C_A2}与卷积后的特征图{C_A23,C_A25}的对应元素相加，得到融合后的特征图{C'_A2}；同时，针对特征图{C_A3}分别采用1×1和3×3的卷积核进行卷积操作得到{C_A31,C_A33}，并将原特征图{C_A3}与卷积后的特征图{C_A31,C_A33}的对应元素相加，得到融合后的特征图{C'_A3}，针对特征图{C_A4}分别采用1×1和3×3的卷积核进行卷积操作得到{C_A41,C_A43}，并将原特征图{C_A4}与卷积后的特征图{C_A41,C_A43}的对应元素相加，得到融合后的特征图{C'_A4}；经过特征增强模块获得新的特征图组{C'_A1,C'_A2,C'_A3,C'_A4}，最终多尺度特征图表示为{C'_A1,C'_A2,C'_A3,C'_A4,C_A5,C_A6,C_A7}，它们的长宽尺度依次递减；

检测头部模块包括分类分支和回归分支，分类分支为卷积核为3x3、卷积步长为1、卷积增补为1的网络，将多尺度特征图输入到分类分支，输出为该特征图中每个先验框的类别预测值；回归分支为卷积核为3x3、卷积步长为1、卷积增补为1的网络，将多尺度特征图输入到回归分支，输出为该特征图中每个先验框的坐标偏移量；

针对特征图上每个像素点，添加不同尺度和长宽比的先验框，具体如下：

对于特征图C'_A1，其先验框尺度设置为input_size×4/100，input_size表示输入图像的尺寸；对于其他特征图，其先验框尺度按以下公式计算得到：

其中，m指除C'_A1外特征图的个数，这里m＝6，s_k表示第k个特征图中的先验框的尺度，k＝2、3、4、5、6、7依次表示特征图C'_A2、C'_A3、C'_A4、C_A5、C_A6、C_A7，s_min表示比例的最小值，s_min＝0.1，s_max表示比例的最大值，s_max＝0.9；

针对特征图{C'_A1,C'_A2,C_A7}的每个像素点，分别设置4个先验框，其中3个框的长宽比依次设定为1:1、2:1、1:2，另外，在每一组特征图上设置一组尺度信息为且长宽比为1:1的先验框，k＝1、2、7，其中，s₈＝input_szie×106/100；针对特征图{C'_A3,C'_A4,C_A5,C_A6}的每个像素点，分别设置6个先验框，其中5个框的长宽比依次设定为1:1、2:1、1:2、1:3、3:1，另外，在每一组特征图上额外设置一组尺度信息为且长宽比为1:1的先验框，k＝3、4、5、6；

将所有先验框按照像素点位置映射到输入图像上；

步骤3，对网络进行端到端的训练：将步骤1预处理后的图片输入到步骤2构建的目标检测网络进行训练，当达到设定的训练总次数时，停止训练，得到训练好的目标检测网络；其中，网络训练参数分别设定为：训练总次数设置为24个epoch，初始学习率为2.5e^-4，一个批次处理的图片数为8，学习率在epoch为16-22时开始下降，下降速率为0.1，到第23个epoch时，学习率降低为2.5e^-6；网络的损失函数设定为：

L_cls＝F.cross_entropy(cls_score,labels)*scale_weight (3)

L_reg＝smooth_l1_loss(bbox_pred,bbox_targets)*scale_weight (4)

其中，L_total表示总的网络损失，L_cls表示分类损失，L_reg表示回归损失，N_cls表示参与分类损失计算的样本总数，N_reg表示参与回归损失计算的样本总数，表示先验框的归属，根据先验框与Ground Truth框进行匹配的原则确定，若先验框被匹配为正样本，则若先验框被匹配为负样本，则F.cross_entropy(·)表示交叉熵损失，cls_score表示分类分支针对先验框的类别预测值，labels表示先验框与Ground Truth框匹配的标签真值信息，其取值范围为[1,...,K]，K表示类别总数，labels＝0表示为负样本；smooth_l1_loss(·)用于计算回归损失，bbox_pred表示回归分支对先验框预测的坐标偏移量，bbox_targets表示先验框的坐标偏移真值，scale_weight表示匹配为正样本的先验框所属真值信息的纵横比经过归一化之后的结果；

所述的交叉熵损失F.cross_entropy(·)的计算表达式如下：

F.cross_entropy＝-[labels*log(cls_score)+(1-labels)*log(1-cls_score)] (5)

在进行上述计算时，labels的信息由[0,K]转换为一个One-hot向量；

所述的回归损失函数smooth_l1_loss(·)的计算表达式如下：

所述的scale_weight的计算公式如下：

scale_weight＝exp^(-scale′)+1 (7)

其中，scale′表示匹配为正样本的先验框的纵横比系数，按照以下公式计算：

其中，scale表示匹配为正样本的先验框的宽度与高度之比；

步骤4，目标检测：将待检测遥感图像输入到步骤3训练好的目标检测网络中，得到每个先验框的类别预测值和其坐标偏移量，然后利用归一化指数函数Softmax将类别预测值转换为最终的类别概率得分，具体计算公式如下：

其中，σ(z)_j代表先验框内目标被预测为类别j的概率得分，其范围为(0,1)；j代表类别所对应的序号，j＝0,1,…,K，j＝0表示为背景；z_j和z_k代表目标检测网络输出的先验框的类别预测值；

概率得分最大值所对应的类别即为该先验框最终的分类结果；

按照下式计算先验框经过坐标偏移之后得到的检测框位置信息：

其中，{b_lx,b_ly,b_rx,b_ry}表示检测框的位置信息，b_lx表示检测框左上角x方向的坐标，b_ly表示检测框左上角y方向的坐标，b_rx表示检测框右下角x方向的坐标，b_ry表示检测框右下角y方向的坐标；{t_x,t_y,t_w,t_h}表示回归分支网络预测得到的坐标偏移量，t_x表示在x方向上的偏移量，t_y表示在y方向上的偏移量，t_w表示宽度尺度因子，t_h表示高度尺度因子；{p_x,p_y,p_w,p_h}表示先验框的坐标信息，p_x表示先验框左上角x方向的坐标，p_y表示先验框左上角y方向的坐标，p_w表示先验框的宽度，p_h表示先验框的高度；

最后，按以下过程进行目标检测：首先，删除属于背景类的检测框；然后，删除概率得分小于0.02的检测框，如果此时剩余检测框个数大于200，则仅保留概率得分最高的前200个检测框；最后，利用非极大值抑制来过滤针对同一目标的重叠率较高的检测框，剩余检测框即为最终的目标检测结果，具体为：以概率得分最高的检测框为基准框，分别计算其他检测框与基准框的重叠率IoU，并将重叠率IoU大于0.45的检测框的得分置为0；然后以概率得分次高的检测框为基准框，重复上述操作，直至遍历所有检测框完成上述操作后，剩余得分大于零的检测框，即为最终的目标检测结果。