[发明专利]一种基于空间注意力地图的目标检测方法

说明书

本发明公开了一种基于空间注意力地图的目标检测方法，包括：将测试图像输入预先训练好的Faster RCNN网络，自下向上逐层进行特征提取、自上向下逐层进行高层语义信息传播，得到目标的空间特征信息和特征梯度信息；对目标的空间特征信息和特征梯度信息进行加权得到目标高层语义信息引导的注意力地图；对目标空间特征信息进行数据预处理，得到目标感兴趣区域图；叠加目标感兴趣区域图和注意力地图，得到目标注意力地图；将目标注意力地图与通道特征权重进行计算得到多通道空间注意力地图；将多通道空间注意力地图与目标空间特征信息结合得到新的目标空间特征信息；将新的目标空间特征信息联合RPN网络的目标候选框提取出进行目标分类和边界框回归的特征。

技术领域

本发明涉及目标检测技术领域，尤其涉及一种基于空间注意力地图的目标检测方法。

背景技术

目标检测作为计算机视觉的领域的一个基础研究课题，其目标是在图片中对可变数量的目标进行查找和分类。得益于深度学习的快速发展，目标检测的性能取得了较大的进展，但是由于目标的尺度不一、种类和数量不确定、空间特征信息利用率低以及分类与定位精度间的不一致性等问题，限制了检测精度的提升。考虑到，人们在看一件东西的时候，总能够快速的将注意力焦点集中在这件东西的某一个地方或者部位，同时能够在较短时间内准确的获得这件东西的属性、类别等信息，这意味着人们在注意到某个目标或某个场景时，人类会利用有限的注意力资源从大量信息中快速筛选出高价值信息，即通过视觉注意力机制有效的结合了自下而上与自上而下的特征信息，进而极大提高了视觉信息处理的效率与准确性。

受人类视觉注意力的启发，近几年注意力模型被广泛应用于深度学习的语音识别、自然语言处理等任务中。其生成的注意力地图作为一种解释网络决策的有效方法，不仅有助于提高网络中图像特征信息的利用率，而且能够保证网络在有限注意力资源条件下将注意力焦点更多的投放在目标相关区域。其中，注意力模型的框架当前最为流行的是Transformer模型，它是一种编码解码框架主要依赖于self-attention机制处理自然语言处理中的各项任务，能够考虑到序列中元素间的关联性。尽管在深度学习的其他任务中，注意力模型有着较多的应用也取得了不错的效果，但是在图像处理领域如目标检测任务中它的应用依然是缺乏的。

发明内容

本发明的目的是针对现有技术的缺陷，提供了一种基于空间注意力地图的目标检测方法，在目标检测流程中，通过引入Transformer注意力模块以及结合网络自下而上的目标特征和自上而下的高层语义信息，不仅能够使网络充分利用目标的空间特征信息，而且也能够使网络更多的关注、定位相关目标区域

为了实现以上目的，本发明采用以下技术方案：

一种基于空间注意力地图的目标检测方法，包括步骤：

S1.将测试图像输入预先训练好的Faster RCNN网络，并自下向上逐层进行特征提取、自上向下逐层进行高层语义信息传播，得到目标的空间特征信息F和与空间特征信息相对应的特征梯度信息G；

S2.对所述得到的目标的空间特征信息F和特征梯度信息G进行加权计算，得到目标高层语义信息引导的注意力地图M；

S3.对所述目标的空间特征信息F进行数据预处理，通过Transformer注意力模块得到目标的感兴趣区域图P；

S4.叠加所述得到的目标感兴趣区域图P和目标高层语义信息引导的注意力地图M，得到目标注意力地图A；并将得到的目标注意力地图A与通道特征权重进行计算，得到多通道的空间注意力地图A^S；

S5.将所述得到的多通道的空间注意力地图A^S与目标空间特征信息F进行结合，得到新的目标空间特征信息F_new；

S6.将得到的新的目标空间特征信息F_new联合RPN网络的目标候选框，提取出进行目标分类和边界框回归的特征。