[发明专利]一种图像语义特征约束的遥感目标检测方法

权利要求书

1.一种图像语义特征约束的遥感目标检测方法，其特征在于，包括以下步骤：

步骤1)：采用深度残差网络ResNet50和特征金字塔网络对输入图像进行特征提取，并进行融合得到融合多尺度信息的多尺度的特征图；

步骤2)：将融合得到的多尺度的特征图通过中心估计模块对负样本进行过滤，将中心估计模块输出的中心特征图和输入中心估计模块的特征图两者结合以过滤掉负样本，得到过滤掉负样本后的图像语义特征图；

步骤3)：利用提取到的图像语义特征约束任意方向锚点的生成，在过滤掉负样本后的图像语义特征图中生成锚，基于这部分生成的锚通过旋转候选区域生成网络得到候选区域，通过旋转兴趣区域聚集层，为每个候选区域提取出大小统一的特征向量；

步骤4)：针对每个候选区域提取出的大小统一的特征向量，分别利用两个全连接层分支完成分类和回归任务，得到输入的遥感图像中各个候选区域的检测结果和检测位置；

步骤1)的详细步骤包括：下采样：通过深度残差网络ResNet50对输入的遥感图像进行下采样，将深度残差网络ResNet50的特征图大小不变的层称之为一个阶段，获得4个阶段的4种尺度的特征图C2,C3,C4,C5；上采样：将4种尺度的特征图C2,C3,C4,C5组成一个特征金字塔网络，将特征图C5使用双线性插值做2倍上采样，随后通过1*1卷积层固定特征维度为256，将特征图C4也通过1*1卷积层固定特征维度为256，最后将同样大小的两个阶段的特征图通过按元素相加得到融合之后的特征图F4；将特征图F4进行2倍上采样、固定特征维度256，再将特征图C3固定特征维度为256，两者按元素相加得到特征图F3；将特征图F3进行2倍上采样、固定特征维度256，再将特征图C2固定特征维度为256，两者按元素相加得到融合高阶特征和低阶特征的特征图F2，并将特征图F2作为融合多尺度信息的特征图输出；

步骤2)中的中心估计模块由一个1*1卷积层和一个按元素运算的sigmoid激活层组成，用于将输入的融合多尺度信息的特征图转化成大小一致且体现正样本存在概率的中心特征图，并将输入的融合多尺度信息的特征图、中心特征图按元素相乘，得到的最终的特征图中负样本的区域元素数值接近0，而正样本区域的元素数值近乎保持不变；

步骤3)中的旋转候选区域生成网络包括3*3卷积层和两个1*1卷积层，所述旋转候选区域生成网络用于将特征图通过3*3卷积层输出得到同输入特征图的H和W一致的特征图，并将该特征图分别经过两个1*1卷积层，获得分别包含类别信息和位置信息的两组特征图。

2.根据权利要求1所述的图像语义特征约束的遥感目标检测方法，其特征在于，步骤2)之前还包括训练中心估计模块的步骤，且训练中心估计模块的过程中使用聚焦式损失函数Focal Loss监督该中心估计模块的分支，其中聚焦式损失函数Focal Loss的函数表达式如下：

fl＝-(1-p)^αlog(p)

上式中，fl为聚焦式损失函数Focal Loss的函数值，p表示样本为正样本的概率，α为系数，其中正样本是指遥感图像中预设锚点与真实边框的交并比高于阈值的样本，负样本是指遥感图像中预设锚点与真实边框的交并比低于阈值的样本。

3.根据权利要求1所述的图像语义特征约束的遥感目标检测方法，其特征在于，步骤3)之前还包括训练旋转候选区域生成网络的步骤，且训练旋转候选区域生成网络生成候选区域，计算候选区域与真实边框的交并比时需要判断该候选区域是否为正样本，判断原则为：对于候选区域正样本，需同时满足：1)其与真实边框的交并比最高的或者大于0.7；2)其与真实边框的夹角小于π/12；对于候选区域负样本，需满足其中之一：1)其与真实边框的交并比小于0.3；2)其与真实边框的交并比大于0.7，但其与真实边框的夹角大于π/12，然后针对所有正样本、负样本的候选区域计算倾斜交并比，对那些既不满足正样本也不满足负样本的候选区域不参与训练；然后针对旋转兴趣区域层输出的大小统一的特征向量，将其输入到一个全卷积网络对并使用聚焦式损失函数监督该旋转候选区域生成网络，重复上述过程最终完成对旋转候选区域生成网络的训练。