[发明专利]一种基于注意力机制的特征融合方法

权利要求书

1.一种基于注意力机制的特征融合方法，其特征在于，包括：

在主干特征提取网络提取的多层次特征中，选取若干个不同大小、不同深度的特征图作为输出特征，其中，选出的特征图具有不同的位置信息和语义信息；

为所述输出特征构建基于注意力机制的多尺度特征融合网络，所述多尺度特征融合网络通过注意力机制学习特征融合时不同层次特征的比例关系，根据学习到的比例关系融合不同层次特征；

根据融合后的特征，对图像/视频中的目标进行分类、检测。

2.根据权利要求1所述的基于注意力机制的特征融合方法，其特征在于，在主干特征提取网络提取的多层次特征中，选取若干个不同大小、不同深度的特征图作为输出特征之前，所述方法还包括：

针对图像/视频的目标检测，根据输入输出的张量大小构建卷积神经网络作为主干特征提取网络；

通过主干特征提取网络提取图像中检测目标的多层次特征。

3.根据权利要求1所述的基于注意力机制的特征融合方法，其特征在于，所述在主干特征提取网络提取的多层次特征中，选取若干个不同大小、不同深度的特征图作为输出特征包括：

在主干特征提取网络提取的多层次特征中，选取主干特征提取网络最后q个卷积块的特征图作为输出特征。

4.根据权利要求3所述的基于注意力机制的特征融合方法，其特征在于，所述选取主干特征提取网络最后q个卷积块的特征图，用公式描述为：

F_i＝B_z～i(input)

F_i-1＝B₂(F_i)

…

F₁＝B₁(F₂)

其中，B_i表示主干特征提取网络的倒数第i个卷积块，z为主干特征提取网络所包含卷积块的个数，input为主干特征提取网络的图像，F_i为主干特征提取网络的倒数第i层特征图。

5.根据权利要求1所述的基于注意力机制的特征融合方法，其特征在于，所述为所述输出特征构建基于注意力机制的多尺度特征融合网络，其中，所述多尺度特征融合网络通过注意力机制学习特征融合时不同层次特征的比例关系，根据学习到的比例关系融合不同层次特征包括：

A1.确定检测尺度的个数，对于融合第j个尺度，统一不同尺度的特征图，其具体过程用公式描述为：

F_i→j＝resize_i→j(F_i)

其中，resize_i→j表示将特征图F_i调整为特征图F_j的大小，F_i→j表示为调整后的特征图，当i＝j时不做大小调整；

A2.对调整后的特征图，通过注意力机制学习特征融合时不同层次特征的比例系数；

A3.对不同层次的特征图按照学习到的比例系数进行特征融合。

6.根据权利要求5所述的基于注意力机制的特征融合方法，其特征在于，通过注意力机制学习特征融合时不同层次特征的比例系数，其具体过程用公式描述为：

G_i→j＝R(F_i→j)

其中，R()表示用来捕捉特征图F_i→j上各个位置的依赖关系，其通过卷积操作来实现；G_i→j表示为对F_i→j采用注意力机制得到的关系参数；α^j、β^j、...、γ^j均表示为特征融合的比例系数，其中，α^j+β^j+…+γ^j＝1，k为多尺度特征融合网络输入的特征图的个数。

7.根据权利要求6所述的基于注意力机制的特征融合方法，其特征在于，比例系数的个数等于多尺度特征融合网络输入的特征图个数。

8.根据权利要求6所述的基于注意力机制的特征融合方法，其特征在于，对不同层次的特征图按照学习到的比例系数进行特征融合，其具体过程用公式描述为：

其中，level j表示特征融合后用于预测的特征图，其大小与F_j一致，且j的取值为1到步骤A1中检测尺度的个数；表示对F_i→j中的i取定值i_m时的特征图，到为F_j的相邻特征图。