[发明专利]基于自适应多特征融合的微小目标检测方法

权利要求书

1.基于自适应多特征融合的微小目标检测方法，其特征在于：该方法包括以下步骤：

1)使用提出的轻量级多级特征提取网络提取微小目标的高层语义和低层语义信息，整个特征提取网络由五个特征提取模块构成，每个特征提取模块由一个[3×3,2]的卷积网络和三个卷积块组成，并使用残差连接的方式提高网络的深度和特征提取能力；

2)将下采样率8，16和32的特征层经过特征金字塔结构，使用[1×1,1]的卷积网络处理维度，并使用双线性插值算法处理尺度问题，融合的方式采用通道上的连接，将特征维度提高；

3)在特征金字塔结构的基础上额外增加一条路径以丰富微小目标的语义信息和纹理信息，并使用[3×3,2]的卷积网络进一步提取特征和调整维度，融合的方式依然是通道相加；

4)再将两次融合后的特征经过自适应多特征融合网络，其中上采样使用双线性插值算法，下采样采用[3×3,2]的卷积网络和最大池化完成；同时，利用[1×1,1]的卷积网络进行维度匹配，使用输出通道为3的[1×1,1]卷积网络生成所需的权值参数，最后把权值参数乘到对应特征层中进行融合；

5)网络采用k-means算法得到先验框，根据数据集中物体的目标框尺度进行聚类，得到k个尺度的先验框，加速模型的收敛；

6)最后将融合后的特征分别经过[3×3,1]的卷积网络，达到检测的输出要求，并使用非极大值抑制算法进行结果筛选；整个网络采用端到端的方式进行训练，直至模型收敛；

所述1)中，使用轻量级多级特征提取网络提取输入图像的高层语义和低层语义信息，该网络由多个特征提取模块组成，具体结构如下：

a)每个特征提取模块由一个[3×3,2]的卷积网络和三个卷积块组成，其中3×3为卷积核大小，2为步长，用来完成下采样过程，下采样率为2；

b)特征提取模块中的每一个卷积块都由一个[1×1,1]的卷积网络和一个[3×3,1]的卷积网络组成，并使用对应元素相加的残差连接方式，以提高模型的非线性的能力和深度；

c)特征提取网络共有五个特征提取模块，并在下采样率为8，16，32的特征层，即对应第三、四和五个特征提取模块，输出特征图用于自适应多特征融合；

所述2)中，把下采样率为8，16和32的特征层分别记为p3，p4和p5，再将其经过特征金字塔结构，获得多尺度特征，具体步骤如下：

a)将p5层经过一个[1×1,1]的卷积网络，主要用于降维处理，并把输出维度调整为p4层的维度，记该层输出特征层为c5；

b)再经过一个上采样层，上采用使用双线性插值算法，经过上采样过后采样率会增大2倍，即p5经过上采样后的下采样率为16；通过1×1卷积和上采样层后，输出的维度和下采样率已经和p4层匹配，所以就可以将p5层和p4层的特征图进行通道上的相加，得到融合后的特征图，再经过一个特征提取模块和一个1×1卷积，得到特征层c4；

c)同理，将c4经过一个上采样层，与p3层的特征图进行通道上的相加，得到融合后的特征图，再经过一个特征提取模块，得到特征层c3；

所述3)中，在传统特征金字塔的基础上，再增加一条从下至上的路径，用于丰富微小目标的语义信息，具体步骤如下：

a)将c3层经过一个[3×3,2]的卷积网络，进一步提取特征和调整输出维度，使之与c4层匹配，再与c4层的特征图进行通道上的相加，得到融合后的特征图，再经过一个特征提取模块，得到特征层c4′；

b)同理，将c4′经过一个[3×3,2]的卷积网络并与c5层进行特征融合，再经过一个特征提取模块，得到特征层c5′；

所述4)中，得到特征层c3，c4′和c5′用于后续的检测，具体步骤如下：

a)以c5′层作为融合层，故c4′层需经过一个2倍下采样，即使用[3×3,2]的卷积网络实现，c3层需经过一个4倍下采样，即先使用最大池化进行2倍下采样，再使用[3×3,2]的卷积网络；再将c5′层和经过处理后的c4′、c3层经过一个自适应融合网络，得到c5′层的融合结果F5；

b)以c4′层作为融合层，故c5′层需经过一个2倍上采样，c3层需经过一个2倍下采样，即使用[3×3,2]的卷积网络实现；同理，再将c4′层和经过处理后的c5′、c3层经过一个自适应融合网络，得到c4′层的融合结果F4；

c)以c3层作为融合层，故c5′层需经过一个4倍上采样，c4′层需经过一个2倍上采样；同理，经过一个自适应融合网络后得到c3层的融合结果F3；

所述5)中，自适应融合网络使用多个[1×1,1]的卷积网络组成，c5′层中，将c5′层和经过处理后的c4′、c3层分别经过一个[1×1,1]的卷积网络进行降维处理，再将这三个卷积后的特征图在通道上相加，然后再经过一个输出通道为3的[1×1,1]卷积网络，最后将c5′层和经过处理后的c4′、c3层分别乘以自适应融合网络得到的权值参数，再相加得到融合结果F5；以c4′或者c3层作为融合层时同理，用公式(1)来表示：

F^level＝α^level·x^3→level+β^level·x^4→level+γ^level·x^5→level (1)

式中，level表示当前融合层，x^n→level表示将不同下采样率的特征层调整到融合层分辨率后的特征层，α^level、β^level和γ^level表示权值参数，其中α^level的定义由公式(2)表示：

式中，和为输出通道为3的[1×1,1]卷积网络后每个通道对应的权值，β^level和γ^level的定义同理。