[发明专利]一种基于注意力机制的多方向的无人机航拍的车辆检测方法

说明书

本发明公开了一种基于注意力机制的多方向的无人机航拍的车辆检测方法，设计一个融合注意力机制的特征金字塔网络即RPN网络；根据车辆特点，对RPN网络进行设计并加入方向属性；对Faster R‑CNN进行改进，加入上述两步骤的方案。进而对车辆进行检测，得出结果。本发明在Faster R‑CNN设计中，通过加入注意力机制，可以使得FPN的每个通道和区域获得自适应权重，并且可以对多个方向的车辆进行准确的检测，从而更好的对车辆进行计数，减少漏检和误检的情况。

技术领域

本发明属于无人机航拍图像的目标检测领域，涉及到了目前先进的目标检测 算法、注意力机制以及基于FasterR-CNN的航拍图像的多方向车辆检测模块。

背景技术

无人机凭借其高机动性，快速部署和大范围的监视，在交通管理，停车场管 理，城市规划，应急救援等方面起着重要的作用。近几年随着车辆保有量的增加， 交通方面的问题日益突出。借助车辆检测可以进行车流量计算，交通拥堵情况预 测等，从而更好得监控和管理交通。这一切的前提都需要能够准确地检测所有车 辆。

近年来随着图形处理技术的提高，深度学习和人工智能在计算机视觉等领域 取得了巨大的成功。很多研究者提出了基于深度学习的目标检测算法，取得了不 错的效果，总体分为One-Stage和Two-Stage两大模块。One-Stage的代表算法有 SSD、Yolo，yolov2，yolov3。Two-Stage主要有Faster-RCNN。但是他们是针对 差异很大的数据集进行开发的，这些数据集的图像，比如Pascal VOC2007、 MSCOCO等日常的车辆图像，它们只包含一个或者占据图像很大的一部分对象， 而无人机图像失去了车辆的“面子”，车辆呈现出典型的直线结构。非车辆直线物 体的存在，如电力单元、建筑物顶部的空调单元，会使任务复杂化，造成许多误 报，而且中低空图像目标对象都比较小，一般只有15-20像素，因此要对无人机拍摄车辆进行准确的检测是一项很大的挑战。

综上，本发明通过扩展Faster R-CNN目标检测框架，针对目前中低空车辆 检测的问题，我们将注意力机制加入到FPN中，并对其特征进行交叉融合，生 成了语义信息更为丰富的特征图，有效缓解航拍小目标的小尺度损失，使得更好 的对图像进行分类与回归。同时为了对不同方向车辆进行检测，我们提出了旋转 区域建议网络(Region ProposalNetwork，RPN)来生成具有车辆方位角信息的 多方位建议，在RPN中，还对边界盒的方向角进行了回归，使倾斜的车辆区域 建议生成更加准确。

发明内容

本发明的目的在于为无人机航拍的图像提供一个高性能的车辆检测模块，以 解决上述背景技术中提到的问题。

为实现上述目的，本发明提供如下技术方案：一种基于注意力机制的多方向 的无人机航拍的车辆检测方法，包括以下步骤：

步骤S1：设计一个融合注意力机制的特征金字塔网络即RPN网络；

步骤S2：根据车辆特点，对RPN网络进行设计并加入方向属性；

步骤S3：对Faster R-CNN进行改进，加入上述两步骤的方案。进而对车辆 进行检测，得出结果。

图1为本发明的结构流程图。本发明根据中低空车辆的特点对原有Faster R-CNN做出了改进，其中选取ImageNet图像数据集预先训练得到VGG16卷积 层作为主干网络提取特征值，别的层采用随机方式进行初始化，为了获得图像的 多尺度特征表达，利用卷积神经网络提取层次特征，进而建立特征金字塔；然后 根据RPN网络生成目标候选区域，在特征金字塔各个层级中找到对应的目标区 域，从而提取出目标的多尺度特征。将池化后的特征在ROI Polling层进行特征 融合。整个网络结构采用多任务联合学习，同时实现目标的检测定位与类型识别。