[发明专利]一种图像特征的融合方法、装置以及电子设备

说明书

本申请提供了一种图像特征的融合方法、装置以及电子设备，其中，该方法包括：获取目标图像的第一特征图和第二特征图；其中，第一特征图的语义信息少于第二特征图的语义信息；对第二特征图进行维度变换处理，以使维度变换处理后的第二特征图的维度与第一特征图的维度相同；将第一特征图与维度变换处理后的第二特征图进行加权，得到第一加权特征图；根据第一加权特征图生成第一特征图与第二特征图的融合特征图。本申请能够使不同特征图之间实现有效的信息互补结合，较好地提升了不同特征图的融合效果。

技术领域

本申请涉及图像处理技术领域，具体而言，涉及一种图像特征的融合方法、装置以及电子设备。

背景技术

神经网络模型在执行诸如目标识别/检测等任务的过程中，大多需要对待处理图像进行特征提取，得到特征图。神经网络模型中不同层的网络可提取得到的特征图不同，各层特征图也具有不同程度的语义信息和细节信息。以高层特征图与低层特征图为例，高层特征图通常具有丰富的语义信息，但缺乏图像的细节信息；而低层特征图保留有较好的细节信息，但语义信息匮乏。

一般而言，高层特征图用于度量语义相似度，低层特征图用于度量细粒度相似度。因此现有技术中采用将高低层特征图互补的方式来改善相似度的度量，以特征金字塔网络(Feature Pyramid Networks，FPN)为例，其采用自顶向下的结构将高层特征图和低层特征图进行融合，以使得融合后的特征图具有较好的细节信息和语义信息。然而，由于高层特征图所包含的语义信息过于丰富，很容易覆盖低层特征图中的细节信息，难以达到高低层特征互补的目的，融合效果较差。

发明内容

有鉴于此，本申请实施例的目的在于提供一种图像特征的融合方法、装置以及电子设备，能够使不同特征图之间实现有效的信息互补结合，较好地提升了不同特征图的融合效果。

根据本申请的一个方面，提供了一种图像特征的融合方法，包括：获取目标图像的第一特征图和第二特征图；其中，所述第一特征图的语义信息少于所述第二特征图的语义信息；对所述第二特征图进行维度变换处理，以使维度变换处理后的所述第二特征图的维度与所述第一特征图的维度相同；将所述第一特征图与维度变换处理后的所述第二特征图进行加权，得到第一加权特征图；根据所述第一加权特征图生成所述第一特征图与所述第二特征图的融合特征图。

在一些实施例中，对所述第二特征图进行维度变换处理的步骤，包括：采用转置卷积操作对所述第二特征图进行维度变换处理。

在一些实施例中，将所述第一特征图与维度变换处理后的所述第二特征图进行加权的步骤，根据空间注意力机制和通道注意力机制，将所述第一特征图与维度变换处理后的所述第二特征图进行加权。

在一些实施例中，根据空间注意力机制和通道注意力机制，将所述第一特征图与维度变换处理后的所述第二特征图进行加权的步骤，包括：

根据维度变换处理后的所述第二特征图生成权重向量，将所述权重向量与所述第一特征图相乘；其中，所述权重向量的维度与所述第一特征图的维度相同。

在一些实施例中，根据维度变换处理后的所述第二特征图生成权重向量的步骤，包括：将所述第二特征图中的元素作为权重向量；或者，将所述第二特征图中的元素输入至预设的激活函数，生成权重向量。

在一些实施例中，将所述第二特征图中的元素输入至预设的激活函数，生成权重向量的步骤，包括：如果所述激活函数为ReLU激活函数，将所述第二特征图中的元素输入至ReLU激活函数，得到由σ(z)组成的权重向量；其中，σ(z)＝max(0，z)，z为所述第二特征图中的元素。

在一些实施例中，将所述第二特征图中的元素输入至预设的激活函数，生成权重向量的步骤，包括：如果所述激活函数为Sigmoid激活函数，将所述第二特征图中的元素输入至Sigmoid激活函数，得到由σ(z)组成的权重向量；其中，σ(z)＝(1+e^-z)^-1，z为所述第二特征图中的元素。