[发明专利]一种基于注意力机制的多方向的无人机航拍的车辆检测方法

权利要求书

1.一种基于注意力机制的多方向的无人机航拍的车辆检测方法，其特征在于：包括以下步骤，

步骤S1：设计一个融合注意力机制的特征金字塔网络即RPN网络；

步骤S2：根据车辆特点，对RPN网络进行设计并加入方向属性；

步骤S3：对Faster R-CNN进行改进，加入上述两步骤的方案；进而对车辆进行检测，得出结果；

根据中低空车辆的特点对原有Faster R-CNN做出了改进，其中选取ImageNet图像数据集预先训练得到VGG16卷积层作为主干网络提取特征值，别的层采用随机方式进行初始化，利用卷积神经网络提取层次特征，进而建立特征金字塔；然后根据RPN网络生成目标候选区域，在特征金字塔各个层级中找到对应的目标区域，从而提取出目标的多尺度特征；将池化后的特征在ROI Polling层进行特征融合；

整个网络结构采用多任务联合学习，同时实现目标的检测定位与类型识别；

采用两个阶段来检测网络，先用候选区域生成候选目标，对目标进行分类，最后获得目标的定位和类型；在主干网络提取含有边缘信息以及语义信息的多层特征层进行融合的方式来作为RPN网络的输入，通过引入候选区域上下文信息，将上下文信息与多尺度特征融合后，实现对航拍车辆的检测与识别。

2.根据权利要求1所述的一种基于注意力机制的多方向的无人机航拍的车辆检测方法，其特征在于：S1是在Faster R-CNN主干网络中加入特征金字塔FPN即加入空间-通道混合注意机制来进行特征提取来获得更高层次的语义信息；引用注意力机制使得特征金字塔在特征融合过程中用空间和通道的注意力中获得联系性，使特征图以加权形式合并；全方位描述带有混合注意力机制的特征金字塔网络；混合注意力模块由横向通道注意力和自上而下的空间注意力组成，让FPN每个通道和区域获得自适应权重；引入自动编码器来实现空间注意力操作，将特征映射编码到一个特征空间中，将压缩的特征映射恢复到原始大小，并进行划分，提取特征相互依赖性；最后将输出由sigmod归一化为[0，1]；空间注意力公式表达为

S(X_r)＝σ(AE(X_a)，W_AE)

其中W_AE是编码器要学习的参数，σ是sigmod，X_a为通道聚集特征图；

为获得特征映射的通道的相关依赖性，引入通道注意来获得空间-通道特征图；首先将原始特征映射压缩为1*1，然后使用1*1的卷积核，将特征维度从C维到c/4，然后Relu函数激活，最后将特征维度恢复，在获得通道权重的同时获得了特征图在通道级别的相关性；通道注意力公式表示为

C(X)＝σ(W，θ(W_Cg(X)))

其中，W_C属于原始特征图的幂次，g是全局池函数，θ是Relu函数，σ是sigmoid函数；

为了获得特征映射的通道的相关依赖性，引入通道注意来获得空间-通道特征图；对于通道注意，首先将原始特征映射压缩为1*1，然后使用1*1的卷积核，将特征维度从C维到c/4，然后Relu函数激活，最后将特征维度恢复，在获得通道权重的同时获得了特征图在通道级别的相关性；通道注意力公式表示为

C(X)＝σ(W，θ(W_Cg(X)))

其中，W_C属于原始特征图的幂次，g是全局池函数，θ是Relu函数，σ是sigmoid函数；

对于FPN第k个特征图，混合注意力首先获得基本融合特征公式如下

其中是从特征金字塔上层开始的自上而下的特征图，Y_l是来自主干网络的相应横向特征图，τ(·)表示上采样过程，通过插值算法或转置卷积来实现，∈(·)表示基于卷积的维数映射，通过1×1卷积核来实现，是元素求和；

在横向路径上生成空间注意mask，在自上而下的路径上生成通道主义mask，公式分别为

其中，S(·)是空间注意力操作，C(·)是通道注意力操作，是乘积操作；最终的特征图由和生成，公式如下

通过双通道注意力获得的特征要比原始FPN获得的特征图具有更多的图像信息和语义信息；混合注意力模块增加网络在特征融合过程中对信息通道和区域的关注；特征金字塔的每一层的混合注意模块具有注意特征，该注意特征专用于不同的尺度属性。