[发明专利]一种基于场景先验和特征再融合的航空图像车辆检测方法

摘要

本发明公开了一种基于场景先验和特征再融合的航空图像车辆检测方法，属于航空图像处理技术领域。对包含待测目标的原始航空图像训练集，进行训练集的图像数据增广后，依次进行图像数据预处理和真值标签预处理；根据图像数据预处理得到的子图像和真值标签预处理后的单通道标签图训练语义分割网络模型；将子图像与单通道标签图连接成四通道图像，输入改进的进行特征二次融合的目标检测网络模型；并采用端对端方式对改进的目标检测网络模型进行训练；对包含待测目标的每张原始航空图像，利用训练好的改进后的目标检测网络模型进行车辆预测。本发明具有较大的检测速度优势，具有更高的鲁棒性，对小目标的检测具有更高的准确性和召回率。

主权项

1.一种基于场景先验和特征再融合的航空图像车辆检测方法，其特征在于，具体步骤如下：步骤一、对包含待测目标的原始航空图像训练集，进行训练集的图像数据增广；步骤二、针对增广后的训练集，依次进行图像数据预处理和真值标签预处理；步骤三、根据图像数据预处理得到的子图像和真值标签预处理后的单通道标签图训练语义分割网络模型；步骤四、将图像数据预处理得到的子图像与单通道标签图连接成四通道图像，输入改进的进行特征二次融合的目标检测网络模型；并采用端对端方式对改进的目标检测网络模型进行训练；首先，将四通道图像输入现有的目标检测网络模型的特征提取网络中，得到各层级的特征图，然后，应用基于特征金字塔的多层级特征融合结构，对首次融合后的相邻层级的各层特征图，利用分支网络进行二次融合，对目标检测网络模型进行改进，得到各个层级二次融合后的特征图；融合具体过程为：特征提取网络采用ResNet‑101结构，使用conv_2x，conv_3x，conv_4x，conv_5x层的输出作为预融合特征图，首先按照自上而下的顺序，将当前层的特征经过一个1×1的过渡卷积层与上一层级的特征图融合，后者需要先经过上采样恢复到与前者相同的分辨率；融合后的特征图再以相同的方式与下一层级的特征图做融合，如此递归至分辨率最高的一级特征图为止；然后，利用分支网络进行二次融合，将最底层的特征图直接输出；按照自下而上的顺序，从最底层开始，与相邻层之间的融合过程是：对于两层中较高分辨率的特征图，先通过池化操作使分辨率与另一分支的特征图保持一致，再将两个分支分别经过一个3×3的卷积层，通道数降为原来的一半，最后将两个分支的特征图通过连接操作拼合到一起，作为最终的特征；由此得到每相邻两层二次融合后的特征图；步骤五、对包含待测目标的每张原始航空图像，利用训练好的改进后的目标检测网络模型进行车辆预测。