[发明专利]一种基于全局注意力的特征融合目标检测与识别方法

权利要求书

1.一种基于全局注意力的特征融合目标检测与识别方法，其特征在于包括以下步骤：

(1)使用基准网络VGG-16作为特征抽取网络，末端辅以一系列卷积和池化层，再结合空洞卷积模块，初步得到多尺度的卷积特征层；

(2)构建多级特征融合模块，将第1、2、3层特征图进行融合，将深层和浅层的特征语义信息相结合，从而得到更加有效的特征；

(3)构建包含Context Modeling、Transform和Fusion三个部分组成的全局注意力模块，以Context Modeling捕捉上下文特征图像素之间的关系，并以Transform对通道间特征进行建模，自适应地重新标定通道特征响应，最终以Fusion聚合处理后的全局上下文特征到原始特征上，从而得到更加有效且丰富的特征，提高特征图的表达能力；

(4)在多任务损失函数的基础引入了Focal loss来调整正负样本的平衡，然后将上述处理后的特征进行分类和边框回归操作，通过训练模型，不断优化网络参数，最后通过NMS过滤重复检测边框得到最终的检测模型。

2.根据权利要求1所述的方法，其特征在于(1)中获取多尺度的卷积特征层，获取方法如下：

本发明采用VGG16作为基础网络，将VGG16后的两个全连接层FC6和FC7转换成普通的卷积层Conv6和Conv7，之后又添加多个卷积和池化层，然后从后面新增的卷积层中选取Conv7，Conv8_2，Conv9_2，Conv10_2，Conv11_2加上Conv4_3层共6个特征图作为检测所用的特征图，并将Conv4_3、Conv7、Conv8_2和Conv9_2通过空洞卷积模块，初步得到多尺度的卷积特征层。

3.根据权利要求1所述的方法，其特征在于(2)中多级特征融合模块，融合方法如下：

本发明将初步得到的第1、2、3层特征图进行卷积或上采样操作，分别将该3层特征变换到指定大小的尺寸和通道后进行Concate融合，再经过卷积W_k和ReLU操作得到融合后的特征图，经过多级特征融合得到的特征图可以表示为

其中x_i表示第i层特征图，x_i∈R^H×W×C，H、W和C分别表示特征图的长、宽和通道，表示对特征图进行卷积和上采样操作。