[发明专利]目标检测中的多尺度特征图融合方法、装置、设备及介质

权利要求书

1.一种目标检测中的多尺度特征图融合方法，其特征在于，包括：

获取目标检测器中特征金字塔输出的第一多尺度特征图；

将所述第一多尺度特征图依次基于每个所述第一多尺度特征图的尺度进行融合，得到多个第二多尺度特征图；

对所述第二多尺度特征图依次进行卷积、批量归一化和激活处理，得到所述第二多尺度特征图对应的第三多尺度特征图；

将所述第三多尺度特征图进行堆叠，以便对多个所述第三多尺度特征图进行空间融合，并对堆叠后的多尺度特征图进行卷积、批量归一化和激活处理，得到第四多尺度特征图；

将所述第四多尺度特征图按照第一维度进行归一化计算，得到第一维度权重特征图，并将所述第一维度权重特征图按照通道进行拆分，得到每个通道对应的空间权重特征图；

依据所述第二多尺度特征图以及所述每个通道对应的空间权重特征图，确定每个所述第一多尺度特征图进行第一空间融合后的多尺度特征图；

在所述确定每个所述第一多尺度特征图进行第一空间融合后的多尺度特征图之后，所述方法还包括：

将所述第一空间融合后的多尺度特征图依次基于每个所述第一空间融合后的多尺度特征图进行融合，得到多个第二空间融合后的多尺度特征图；

将所述第二空间融合后的多尺度特征图进行堆叠，得到第三空间融合后的多尺度特征图；

对所述第三空间融合后的多尺度特征图执行平均池化操作，得到第四空间融合后的多尺度特征图；

将所述第四空间融合后的多尺度特征图输入到全连接层进行矩阵运算，得到第五空间融合后的多尺度特征图；

对所述第五空间融合后的多尺度特征图按照通道进行分组，并将分组后的第五空间融合后的多尺度特征图进行归一化计算，得到信息权重特征图；

将所述信息权重特征图按照通道进行拆分，得到每个通道对应的信息权重特征图；

依据所述第二空间融合后的多尺度特征图以及所述每个通道对应的信息权重特征图，确定每个所述第一空间融合后的多尺度特征图进行信息融合后的多尺度特征图；

所述将所述第四空间融合后的多尺度特征图输入到全连接层进行矩阵运算，得到第五空间融合后的多尺度特征图，包括：

将所述第四空间融合后的多尺度特征图输入到第一全连接层进行第一次矩阵运算，并将第一次矩阵运算后的结果输入到第二全连接层进行第二次矩阵运算，将第二次矩阵运算的结果作为所述第五空间融合后的多尺度特征图。

2.根据权利要求1所述的方法，其特征在于，所述将所述第一多尺度特征图依次基于每个所述第一多尺度特征图进行融合，得到多个第二多尺度特征图，包括：

将每个所述第一多尺度特征图依次沿每个所述第一多尺度特征图对应的尺度进行卷积、线性插值和激活处理，得到所述第二多尺度特征图，其中，每个所述第一多尺度特征图在每个尺度上均对应一个所述第二多尺度特征图。

3.根据权利要求1所述的方法，其特征在于，所述对所述第二多尺度特征图依次进行卷积、批量归一化和激活处理，得到所述第二多尺度特征图对应的第三多尺度特征图，包括：

将每个所述第二多尺度特征图依次经过1x1、通道数16的卷积，并经过批量归一化和relu激活，得到每个所述第二多尺度特征图分别对应的第三多尺度特征图。

4.根据权利要求1所述的方法，其特征在于，所述确定每个所述第一多尺度特征图进行空间融合后的多尺度特征图，包括采用以下公式计算空间融合后的多尺度特征图：

其中，表示空间融合后的多尺度特征图，、和分别表示每个通道对应的空间权重特征图，、和表示第二多尺度特征图。

5.根据权利要求1所述的方法，其特征在于，所述确定每个所述第一空间融合后的多尺度特征图进行信息融合后的多尺度特征图，包括采用以下公式计算信息融合后的多尺度特征图：

其中，表示信息融合后的多尺度特征图，、和分别表示每个通道对应的信息权重特征图，、和表示第二空间融合后的多尺度特征图。