[发明专利]一种图像特征的融合方法、装置以及电子设备

权利要求书

1.一种图像特征的融合方法，其特征在于，包括：

获取目标图像的第一特征图和第二特征图；其中，所述第一特征图的语义信息少于所述第二特征图的语义信息；

对所述第二特征图进行维度变换处理，以使维度变换处理后的所述第二特征图的维度与所述第一特征图的维度相同；

将所述第一特征图与维度变换处理后的所述第二特征图进行加权，得到第一加权特征图；

根据所述第一加权特征图生成所述第一特征图与所述第二特征图的融合特征图。

2.根据权利要求1所述的方法，其特征在于，对所述第二特征图进行维度变换处理的步骤，包括：

采用转置卷积操作对所述第二特征图进行维度变换处理。

3.根据权利要求1所述的方法，其特征在于，将所述第一特征图与维度变换处理后的所述第二特征图进行加权的步骤，包括：

根据空间注意力机制和通道注意力机制，将所述第一特征图与维度变换处理后的所述第二特征图进行加权。

4.根据权利要求3所述的方法，其特征在于，根据空间注意力机制和通道注意力机制，将所述第一特征图与维度变换处理后的所述第二特征图进行加权的步骤，包括：

根据维度变换处理后的所述第二特征图生成权重向量，将所述权重向量与所述第一特征图相乘；其中，所述权重向量的维度与所述第一特征图的维度相同。

5.根据权利要求4所述的方法，其特征在于，根据维度变换处理后的所述第二特征图生成权重向量的步骤，包括：

将所述第二特征图中的元素作为权重向量；或者，

将所述第二特征图中的元素输入至预设的激活函数，生成权重向量。

6.根据权利要求5所述的方法，其特征在于，将所述第二特征图中的元素输入至预设的激活函数，生成权重向量的步骤，包括：

如果所述激活函数为ReLU激活函数，将所述第二特征图中的元素输入至ReLU激活函数，得到由σ(z)组成的权重向量；其中，σ(z)＝max(0，z)，z为所述第二特征图中的元素。

7.根据权利要求5所述的方法，其特征在于，将所述第二特征图中的元素输入至预设的激活函数，生成权重向量的步骤，包括：

如果所述激活函数为Sigmoid激活函数，将所述第二特征图中的元素输入至Sigmoid激活函数，得到由σ(z)组成的权重向量；其中，σ(z)＝(1+e^-z)^-1，z为所述第二特征图中的元素。

8.根据权利要求1所述的方法，其特征在于，所述根据所述第一加权特征图，生成所述第一特征图与所述第二特征图的融合特征图的步骤，包括：

将所述第一加权特征图确定为所述第一特征图与所述第二特征图的融合特征图；或者，

将第一加权特征图与所述第一特征图叠加，得到所述第一特征图与所述第二特征图的融合特征图。

9.根据权利要求1所述的方法，其特征在于，所述获取目标图像的第一特征图和第二特征图的步骤，包括：

通过卷积神经网络对目标图像进行不同尺度的特征提取，得到第一特征图和第二特征图。

10.根据权利要求1所述的方法，其特征在于，所述获取目标图像的第一特征图和第二特征图的步骤，包括：

通过特征金字塔中的目标网络层接收第一特征图和第二特征图；其中，所述第一特征图是与所述目标网络层相连的残差网络层对目标图像进行特征提取得到的，所述第二特征图是所述特征金字塔中位于所述目标网络层的相邻上一网络层输出的。

11.根据权利要求10所述的方法，其特征在于，所述方法还包括：

将所述第一特征图与所述第二特征图的融合特征图，作为所述目标网络层输出的特征图。