[发明专利]一种提高SAR图像中靠岸船只检测精度的方法

权利要求书

1.一种提高SAR图像中靠岸船只检测精度的方法，其特征是它包括以下几个步骤：

步骤1、初始化数据集

采用随机的方法调整SSDD数据集中的SAR图像次序，得到新的SSDD数据集；

步骤2、建立生成模块

按照经典的卷积神经网络方法，定义生成模块的输入层，记为L1；

以生成模块的输入层L1作为输入，采用传统的全连接层方法对生成模块的输入层L1层进行非线性加权求和，得到8192维的输出向量L2pre；

以8192维的输出向量L2pre作为输入，采用经典的reshape操作将L2pre进行矩阵重排，得到4×4×512维的向量，记为L2；

以4×4×512维的向量L2作为输入，采用传统的反卷积方法，初始化反卷积操作的卷积核尺寸参数为4×4×256，对4×4×512维的向量L2进行上采样，得到上采样后的结果，记为L3；

以上采样后结果L3作为输入，采用传统的反卷积方法，初始化反卷积操作的卷积核尺寸参数为4×4×128，对上采样后结果L3进行上采样，得到上采样后的结果，记为L4；

以上采样后结果L4作为输入，采用传统的反卷积方法，初始化反卷积操作的卷积核尺寸参数为4×4×64，对L4进行上采样，得到上采样后的结果，记为L5；

以上采样后结果L5作为输入，采用传统的反卷积方法，初始化反卷积操作的卷积核尺寸参数为4×4×32，对L4进行上采样，得到上采样后的结果，记为L6；

以上采样后结果L6作为输入，采用传统的反卷积方法，初始化反卷积操作的卷积核尺寸参数为4×4×16，对L4进行上采样，得到上采样后的结果，记为L7；

以上采样后结果L7作为输入，采用传统的反卷积方法，初始化反卷积操作的卷积核尺寸参数为4×4×3，对L4进行上采样，得到上采样后的结果，记为L8；

定义由上采样后结果L1、L2、L3、L4、L5、L6、L7、L8所组成的网络为生成模块；

步骤3、建立判别模块

以步骤2中得到的上采样后结果L8作为输入，采用经典的卷积神经网络方法，初始化卷积操作的卷积核尺寸参数为4×4×16，对L8进行下采样，得到下采样后的结果，记为L9；

以下采样后的结果L9作为输入，采用经典的卷积神经网络方法，初始化卷积操作的卷积核尺寸参数为4×4×32，对L9进行下采样，得到下采样后的结果，记为L10；

以下采样后的结果L10作为输入，采用经典的卷积神经网络方法，初始化卷积操作的卷积核尺寸参数为4×4×64，对L10进行下采样，得到下采样后的结果，记为L11；

以下采样后的结果L11作为输入，采用经典的卷积神经网络方法，初始化卷积操作的卷积核尺寸参数为4×4×128，对L11进行下采样，得到下采样后的结果，记为L12；

以下采样后的结果L12作为输入，采用经典的卷积神经网络方法，初始化卷积操作的卷积核尺寸参数为4×4×256，对L12进行下采样，得到下采样后的结果，记为L13；

以下采样后的结果L13作为输入，采用经典的卷积神经网络方法，初始化卷积操作的卷积核尺寸参数为4×4×512，对L13进行下采样，得到下采样后的结果，记为L14；

定义由下采样后的结果L9、L10、L11、L12、L13、L14所组成的网络为判别模块；

步骤4、建立多特征层

以步骤3中的下采样后的结果L12、L13、L14作为输入，对L13进行上采样，使该次上采样后的矩阵尺寸与L12的矩阵尺寸相同，将该次上采样后的输出记为L13_pre；对L14进行上采样，使该次上采样后的矩阵尺寸与L12的矩阵尺寸相同，将该次上采样后的输出记为L14_pre；

采用传统的级联方法，将L13_pre、L14_pre与L12叠加，得到多特征层，记为L15；

定义由步骤2得到的生成模块、步骤3得到的判别模块、步骤4得到的多特征层所组成的网络为生成对抗网络，记为GAN_pre；

步骤5、进行场景特征提取

以步骤1中获取得到的新的SSDD数据作为输入，按照经典的Adam算法，训练和优化在步骤4中建立的生成对抗网络GAN_pre，得到训练和优化之后的生成对抗网络，记为GAN；

然后再次以步骤1中获取得到的新的SSDD数据作为输入，按照传统的前向传播方法，将步骤1中获取得到的新的SSDD数据输入到训练和优化之后的生成对抗网络GAN中，得到网络的输出向量M＝{M¹,M²,…Mⁱ,…M¹¹⁶⁰}，其中，Mⁱ是新的SSDD数据中第i张图片的输出向量；

定义输出向量M是新的SSDD数据集中所有图片的场景特征，定义Mⁱ为新的SSDD数据集中第i张图片的场景特征；

步骤6、进行场景聚类

以步骤5中得到的新的SSDD数据中所有图片的场景特征的集合M作为输入，采用传统的K-means聚类算法，借助场景特征M_f对新的SSDD数据集中的图片进行聚类操作：

步骤6.1、初始化参数

对于传统的K-means聚类算法中的质心参数，随机初始化第一步迭代中K-means聚类算法的质心参数，记为

定义当前迭代次数为t，t＝1,2,…,I，I为K-means聚类算法最大迭代次数，初始化I＝1000；定义第t步迭代的质心参数为初始化迭代收敛误差ε，作为算法迭代收敛条件之一；

步骤6.2、进行迭代操作

首先采用公式计算第i张图片的场景特征Mⁱ到在第1次迭代中第一个质心的距离，记为

采用公式计算第i张图片的场景特征Mⁱ到在第1次迭代中第二个质心的距离，记为

比较和若则定义在第1次迭代中第i张图片的场景特征Mⁱ属于第二类，反之则定义在第1次迭代中第i张图片的场景特征Mⁱ属于第一类；

定义在第1步迭代后，第一类的所有场景特征的集合为第二类的所有场景特征的集合为

然后令t＝2，执行以下操作直至收敛：

1)令第t步的质心参数为集合的算术均值，令第t步的质心参数为集合的算术均值；

2)采用公式计算第i张图片的场景特征Mⁱ到在第t次迭代中第一个质心的距离，记为采用第i张图片的场景特征Mⁱ到在第t次迭代中第二个质心的距离，记为

3)比较和若则定义在第t次迭代中第i张图片的场景特征Mⁱ属于第二类，反之则定义在第t次迭代中第i张图片的场景特征Mⁱ属于第一类；定义在第t步迭代后，第一类的所有场景特征集合为第二类的所有场景特征集合为输出聚类结果，记为CLASS；

4)计算该次迭代与上一次迭代的质心参数变化量，记为σ，表达式为如果σ＜ε或tI，则输出聚类结果CLASS，否则令t＝t+1，然后返回到步骤1)继续迭代；

步骤7、进行场景扩增

根据由步骤6中得到的聚类结果CLASS和新的SSDD数据中所有图片，将新的SSDD数据中所有图片分为两类，第一类为靠岸场景图片，记为Data₁，第二类为离岸场景图片记为Data₂；定义Data₁的图片数量为N₁，Data₂的图片数量为N₂；

若N₂N₁，则从第一类为靠岸场景图片Data₁中基于高斯分布随机选取N₂-N₁张图片进行镜像操作，得到镜像操作之后的N₂-N₁张图片，记为Data_1extra；然后将镜像操作之后的N₂-N₁张图片Data_1extra和第一类为靠岸场景图片Data₁合并，输出一个新的图片集合，记为Data_1new；定义Data_2new＝Data₂；

若N₂＝N₁，则从第二类为离岸场景图片Data₂中基于高斯分布随机选取N₁-N₂张图片进行镜像操作，得到镜像操作之后的N₁-N₂张图片，记为Data_2extra；然后将镜像操作之后的N₁-N₂张图片Data_2extra和第一类为靠岸场景图片Data₂合并，输出一个新的图片集合，记为Data_2new；定义Data_1new＝Data₁；

定义新的图片集合Data_new＝{Data_1new,Data_2new}；

步骤8、在经典的模型上进行实验验证

步骤8.1、图像预处理

以从步骤7中获得的新的图片集合Data_new作为输入，采用经典的数据增强方法对Data_new进行数据增强，得到数据增强后的SAR图像检测数据集，记作IM，

将数据增强后的SAR图像检测数据集IM按照7:3的比列划分为两部分，得到训练集、和测试集，训练集记为Train，测试集记为Test；

步骤8.2、建立网络

采用经典的Faster R-CNN方法建立未训练的Faster R-CNN网络；

采用经典的Cascade R-CNN方法建立未训练的Cascade R-CNN网络；

采用经典的SSD方法建立未训练的SSD网络；

采用经典的RetinaNet方法建立未训练的RetinaNet网络；

步骤8.3、训练网络

初始化步骤8.2得到的未训练的网络的图像批处理大小，记为Batchsize；

初始化未训练的网络的正则化参数，记为λ；初始化网络的学习率，记为η；

初始化未训练的网络训练参数的权重衰减率和动量，分别记为DC和MM；

对步骤8.2得到的未训练的Faster R-CNN网络进行随机参数初始化，将初始化后的参数记为W₁；对步骤8.2得到的未训练的Cascade R-CNN网络进行随机参数初始化，将初始化后的参数记为W₂；对步骤8.2得到的未训练的SSD网络进行随机参数初始化，将初始化后的参数记为W₃；对步骤8.2得到的未训练的RetinaNet网络进行随机参数初始化，将初始化后的参数记为W₄；

使用步骤8.1中的训练集Train，采用经典的Adam算法对未训练的Faster R-CNN网络进行训练，输出该网络的损失值，记为loss_r1；

当该网络的损失值loss_r1小于理想损失值loss时，停止训练，输出新的网络参数W_1NEW；

使用步骤8.1中的训练集Train，采用经典的Adam算法对未训练的Cascade R-CNN网络进行训练，输出该网络的损失值，记为loss_r2；

当该网络的损失值loss_r2小于理想损失值loss时，停止训练，输出新的网络参数W_2NEW；

使用步骤8.1中的训练集Train，采用经典的Adam算法对未训练的SSD网络进行训练，输出该网络的损失值，记为loss_r3；

当该网络的损失值loss_r3小于理想损失值loss时，停止训练，输出新的网络参数W_3NEW；

使用步骤8.1中的训练集Train，采用经典的Adam算法对未训练的RetinaNet网络进行训练，输出该网络的损失值，记为loss_r4；

当该网络的损失值loss_r4小于理想损失值loss时，停止训练，输出新的网络参数W_4NEW；步骤9、评估方法

步骤9.1、前向传播

以步骤8.3中得到的新的网络参数W_1NEW和步骤8.1中得到的测试集Tests作为输入，采用前向传播方法，得到的基于Faster R-CNN的船只检测网络得到检测结果，记为R1；

以基于Faster R-CNN的船只检测网络得到检测结果R1作为输入，采用传统的非极大值抑制方法，去除检测结果R1中的冗余框，具体步骤如下：

步骤(1)首先令检测结果R1中得分最高的框，记为BS1；

步骤(2)然后采用计算公式为：计算检测结果R1所有框的重叠率阈值，记为IoU1；舍弃IoU10.5的框；

步骤(3)从剩余框中选出得分最高的框BS1；

重复上述步骤(2)中计算IoU1和舍弃的过程，直到没有框可以舍弃，最后剩余的框即为最终检测结果，记为R1^F；

以步骤8.3中得到的新的网络参数W_2NEW和步骤8.1中得到的测试集Tests作为输入，采用传统的前向传播方法，得到的基于Cascade R-CNN的船只检测网络得到检测结果，记为R2；

以基于Cascade R-CNN的船只检测网络得到检测结果R2作为输入，采用传统的非极大值抑制方法，去除R2中的冗余框，具体步骤如下：

步骤(1)首先令检测结果R2中得分最高的框，记为BS2；

步骤(2)然后采用计算公式为：计算检测结果R2所有框的重叠率阈值，记为IoU2；舍弃IoU20.5的框；

步骤(3)从剩余框中选出得分最高的框BS2；

重复上述步骤(2)中计算IoU2和舍弃的过程，直到没有框可以舍弃，最后剩余的框即为最终检测结果，记为R2^F；

以步骤8.3中得到的新的网络参数W_3NEW和步骤8.1中得到的测试集Tests作为输入，采用传统的前向传播方法，得到的基于SSD的船只检测网络得到检测结果，记为R3；

以基于SSD的船只检测网络得到检测结果R3作为输入，采用传统的非极大值抑制方法，去除R3中的冗余框，具体步骤如下：

步骤(1)首先令检测结果R3中得分最高的框，记为BS3；

步骤(2)然后采用计算公式为：计算检测结果R3所有框的重叠率阈值，记为IoU3；舍弃IoU30.5的框；

步骤(3)从剩余框中选出得分最高的框BS3；

重复上述步骤(2)中计算IoU3和舍弃的过程，直到没有框可以舍弃，最后剩余的框即为最终检测结果，记为R3^F；

以步骤8.3中得到的新的网络参数W_4NEW和步骤8.1中得到的测试集Tests作为输入，采用传统的前向传播方法，得到的基于RetinaNet的船只检测网络得到检测结果，记为R4；

以基于RetinaNet的船只检测网络得到检测结果R4作为输入，采用传统的非极大值抑制方法，去除R4中的冗余框，具体步骤如下：

步骤(1)首先令检测结果R4中得分最高的框，记为BS4；

步骤(2)然后采用计算公式为：计算检测结果R4所有框的重叠率阈值，记为IoU4；舍弃IoU40.5的框；

步骤(3)从剩余框中选出得分最高的框BS4；

重复上述步骤(2)中计算IoU4和舍弃的过程，直到没有框可以舍弃，最后剩余的框即为最终检测结果，记为R4^F；

步骤9.2、计算指标

以步骤9.1中得到的Faster R-CNN网络检测结果R1^F作为输入，采用传统的召回率和精确率计算方法，求出Faster R-CNN网络的精确率P₁、召回率R₁和精确率和召回率曲线P₁(R)；采用公式计算Faster R-CNN网络的平均精度mAP₁；

以步骤9.1中得到的Cascade R-CNN网络检测结果R2^F作为输入，采用传统的召回率和精确率计算方法，求出Cascade R-CNN网络的精确率P₂，召回率R₂和精确率和召回率曲线P₂(R)；采用公式计算Cascade R-CNN网络的平均精度mAP₂；

以步骤9.1中得到的SSD网络检测结果R3^F作为输入，采用传统的召回率和精确率计算方法，求出SSD网络的精确率P₃，召回率R₃和精确率和召回率曲线P₃(R)；采用公式计算SSD网络的平均精度mAP₃；

以步骤9.1中得到的RetinaNet网络检测结果R4^F作为输入，采用传统的召回率和精确率计算方法，求出RetinaNet网络的精确率P₄，召回率R₄和精确率和召回率曲线P₄(R)；采用公式计算RetinaNet网络的平均精度mAP₄。