[发明专利]一种基于MSCFF的低照度目标检测方法

权利要求书

1.一种基于MSCFF的低照度目标检测方法，其特征在于，包括如下步骤：

1)依据公开标准数据集制作合成数据源：包括：

1-1)依据公开的SBD数据集合成低照度下的目标检测数据集，采用对正常照度图像添加高斯噪声、高斯滤波和伽马变换方式合成低照度图像，将正常照度图像与合成的低照度图像一一对应组成图像对，作为来源数据集；

1-2)将SBD数据集中的训练集作为正常照度图像训练集，对应的合成低照度图像作为低照度图像训练集，将SBD数据集中的测试集作为正常照度测试集，对应的合成低照度图像作为低照度图像测试集，数据集的分组情况如表1所示：

表1

；

2)光照估计的训练：包括：

2-1)将低照度与正常照度图像训练集中的图像进行预处理，将这些图像的宽度和高度统一缩放至384*384像素；

2-2)对训练图像进行光照估计生成光照分布图：采用3组卷积核为3*3、stride＝2的卷积层和Relu激活函数进行下采样，3组卷积核为3*3，stride＝2的转置卷积层和Relu激活函数进行上采样，并在相对称的层之间加入跳跃连接，其中光照估计过程的参数设置如表2所示：

表2光照估计参数设置

；

2-3)采用光照分布图与输入特征图计算曝光注意力图，将步骤2-2)得到的光照分布图与输入特征图送入公式(1)中计算曝光注意力图：

其中，x表示输入模块的特征图，x_BEM表示光照分布图，max(·)表示返回三个颜色通道中的最大值；

2-4)将步骤2-3)得到的曝光注意力图与输入特征图相乘得到应用曝光注意力图的特征图，基于此特征图进行特征提取；

3)特征提取训练：首先，输入特征图进行3次下采样得到四个不同尺寸的特征图，然后，分别对四个特征图进行特征提取，最后，把四个特征图上采样到同一尺寸进行特征融合，将得到特征输出，包括：

3-1)采用下采样对输入特征图做三次下采样，将输入特征图分别调整为{384，192，96，48}四个尺寸，并对四个尺寸的特征图分别进行特征提取，下采样块采用双分支结构，一方面，采用池化核为3*3、stride＝2的平均池化层对输入特征图进行下采样，另一方面，采用卷积核为3*3、stride＝2的卷积层和Relu激活函数对输入特征图进行下采样，然后，通过Concat拼接两个下采样后特征图，并送入Relu激活函数进行非线性映射，得到{384，192，96，48}尺寸的特征图；

3-2)将步骤3-1)得到的四个尺寸的特征图进行互补特征提取训练提取特征，互补特征提取块采用双分支结构，分别用于正常感受野下提取普通特征和扩大感受野提取丰富的上下文信息；

3-3)分别采用上采样对{384，192，96，48}尺寸提取的特征图上采样{1，2，4，8}倍，首先，采用两组卷积核为3*3、stride＝2的卷积层和Relu激活函数提取特征；

3-4)将步骤3-3)输出特征图进行全局平均池化，首先，将特征图在空间维度进行特征压缩得到1*1*C的特征向量：

其次，采用两个卷积核为1*1、stride＝1的卷积层对向量进行权重学习，权重越大，表示相关度越高，代表此通道越值得注意，然后，采用Sigmoid激活函数将结果映射到(0,1)，得到权重向量CAVector：

CAVector(x_in)＝S[Conv(Conv(vector(x_in)))] (3)，

最后，将得到的权重向量与步骤3-3)输出的特征图各通道相乘，即可得到通道注意结果为：

3-5)采用卷积核3*3、stride＝2的转置卷积和Relu激活函数实现上采样，将输入特征图的尺寸扩大到原来的2倍；

3-6)对{192，96，48}尺寸特征图重复步骤3-3)、3-4)和3-5)，把特征图上采样到原尺寸的{2，4，8}倍，将四个特征图的尺寸统一到384*384；

3-7)将得到四个特征图从不同尺寸中提取的特征进行融合，采用Concat将四个特征图进行拼接并采用卷积核为3*3、stride＝1和卷积核为1*1、stride＝1的卷积层对拼接后的特征图进行特征提取；

3-8)分别采用卷积核为3*3、5*5、7*7和9*9的卷积层对融合后的特征进行不同尺度的特征提取；

3-9)采用Concat将通过多尺度提取的特征拼接并采用Channel Shuffle操作，把提取到的多尺度特征信息融合到不同的特征通道中，然后采用卷积核为3*3、stride＝1的卷积层对Concat融合后的特征信息进行特征提取；

3-10)将经过步骤2)光照估计后输出的特征图作恒等映射与步骤3-9)特征融输出特征图进行相加；

3-11)将低照度图像和正常照度图像经过特征提取得到的特征图进行内容损失函数的计算，损失函数采用L2 norm损失函数，L2 norm损失函数通过计算增强图像和真实图像的均方误差，为公式(5)：

其中，n为样本总数，y_i为第i个实际样本值，f(x_i)为第i个预测样本值；Loss(x,y)的均值误差越小，表示低照度图像与正常照度图像提取到的特征越相似并且网络的提取能力越强；反之，表示低照度图像与正常照度图像提取到的特征越不相似并且网络的提取能力越弱；

4)训练提取预测框：这个过程用于从特征层中预测先验框和先验框的类别，把特征提取得到的特征图进行6次下采样，得到6张不同尺寸的特征图，基于这些特征图获得分类预测和回归预测，包括：

4-1)采用卷积层进行回归预测和分类预测并生成先验框：采用卷积核为3*3、stride＝1、channel_num＝num_priors*4的卷积层进行回归预测并得到先验框，num_priors*4中num_priors表示该特征层中所拥有的先验框的数量，如表3所示，4表示先验框调整参数量，包括(x,y,w,h)，x,y代表先验框中心的坐标，w,h是先验框的宽度和高度：

表3不同尺寸特征层的先验框数量设置

；

4-2)采用卷积核为3*3、stride＝1，channel＝num_priors*num_classes的卷积层进行分类预测，其中num_classes表示目标检测结果的类别数；

4-3)利用步骤4-1)得到的回归预测结果计算调整先验框，以得到预测框的位置：

Prior′_(x,y)＝Prior_(x,y)+Reg_(x,y)*Prior_(w,h)*α (6)

Prior′_(w,h)＝Prior_(w,h)+Reg_(w,h)*β (7)

其中，Prior_(*)表示先验框的调整参数，Prior′_(*)表示预测框的调整参数，Reg_(*)表示回归预测结果的调整参数，α和β为调整系数，默认取值为0.1和0.2；

5)对预测框进行非极大值抑制：包括：

5-1)计算类别列表中第一个类别所有预测框的面积，并把这些预测框按分类置信度从小到大进行排序；

5-2)计算前k个预测框与分类置信度最大框的重叠面积，并算出它们的IOU：

其中，box₁和box₂分别代表预测框和分类置信度最大框；

5-3)去掉与分类置信度最大框的IOU大于overlap阈值的预测框,overlap阈值取值范围为[0.3,0.5]，将当前预测框从预测框列表中去掉，保存到最终预测框列表中；

5-4)重复步骤5-1)-步骤5-3)筛选预测框列表中其它预测框，直到当前类别预测框列表中只剩一个预测框；

5-5)重复步骤5-1)-步骤5-4)，对其它所有类别进行非极大值抑制；

5-6)结合步骤5-1)-步骤5-5)得到的回归预测结果，分类置信度和先验框计算位置损失和置信度损失的加权和作为目标检测模块的总损失，使预测框与真实框之间差距最小：

其中，N是先验框中正样本的数量，为指示参数，当时表示第i个先验框与第j个ground truth匹配，并且ground truth的类别为k，c为类别置信度预测框，l为先验框的所有对应边界框的位置预测框，g是ground truth的位置参数，λ表示权重系数，默认值为1；

6)进行Fine tuning与低照度图像目标检测：

6-1)将正常照度和低照度图像交叉验证集送入经过步骤1)-步骤5)训练后的MSCFF网络中进行Fine tuning操作，将Fine tuning后的MSCFF网络结构及参数作为最终用于低照度图像检测的结构及参数；

6-1)将低照度图像测试集送入Fine tuning后的MSCFF网络，得到目标检测结果，完成对低照度图像的目标检测操作。

2.根据权利要求1所述的基于MSCFF的低照度目标检测方法，其特征在于，步骤4-1)中所述的生成先验框的过程为：

每个特征图的先验框尺寸计算如公式(13)所示：

其中s_min为0.2且s_max为0.9，为先验框设置不同的宽高比，并将先验框的高宽比表示为计算每个默认框的宽度和高度当宽高比为1时，添加一个先验框，先验框宽高比为从而在每个网格中产生4个先验框，将每个先验框的中心设置为其中|f_k|是第k个正方形特征图i的大小，i,j∈[0,|f_k|]。