[发明专利]基于网络剪枝和知识蒸馏的SAR舰船目标检测方法

权利要求书

1.基于网络剪枝和知识蒸馏的SAR舰船目标检测方法，其特征在于，包括如下步骤：

步骤1：将SAR图像切片输入检测网络，使用YOLOv3检测器作为参考检测框架；在骨干网络中的最后三个阶段引入非对称卷积模块ACM；通过加入不同形状的卷积核以丰富卷积核的感受野，提升不同形状目标的检测；将输入特征表示为F_in，且F_in来自于骨干网络中最后三个阶段的输出特征图；将输入特征F_in接入三个分支，其中第一个分支和第三个分支对应的卷积核大小分别是1×d和d×1，对应的卷积分别表示为Conv_1×d和Conv_d×1；中间分支保持d×d大小的卷积核，对应的卷积表示为Conv_d×d；输出特征图F_out的计算过程如下：

F_out＝ReLu(Conv_1×d(F_in)+Conv_d×d(F_in)+Conv_d×1(F_in))

其中，ReLu表示激活函数，对三个分支融合后的输出进行处理得到输出特征；

然后，构建一个含密集连接要素的金字塔网络以融合不同层级的特征，进一步增强每个尺度特征的语义信息，进而提升多尺度船舶小目标的检测性能；将骨干网络中最后三个Res模块的输出特征图定义为F₁,F₂,F₃，即ACM模块的输入特征，其中最后三个Res模块分别为Res8，Res8，Res4，且Res之后的数字表示Res单元的个数；将密集连接后生成的特征图定义为F′₁，F′₂，F′₃，依次对应检测小、中、大尺寸的目标；定义CBL为3×3卷积、批量归一化BN以及LeakyReLu操作的集合，定义m×操作为：

其中，Concat表示特征拼接操作，UpSample_m表示m倍的上采样操作，Conv_1×1是核大小为1×1的卷积，F_i表示骨干网络中最后三个Res模块输出的第i个特征图；表示第(i+log₂m)个特征图，log₂ m表示特征F_i和特征之间的距离层数；

将不同层级用于预测不同尺度目标的输出特征图集合F′₁，F′₂，F′₃表示为：

F′₃＝Conv_1×1(CBL(ACM(F₃)))

其中，F_i,i＝1,2,3表示骨干网络最后三个Res模块对应的三个层级的特征图；表示与F_i间隔log₂ m个特征层级数的对应特征；ACM表示非对称卷积模块，CBL是卷积操作集合，m₁，m₂表示不同层级之间的倍数关系；

将YOLOv3主干网络DarkNet-53中的Res单元里的第二个卷积模块换成深度可分离卷积模块DSC，其中，DSC模块由3×3深度卷积、批量归一化BN、LeakyReLu、1×1点卷积、批量归一化BN以及LeakyReLu的组合构成，完成改进骨干网络的自适应多尺度多形态目标检测器DC-ACM YOLOv3的构建；

步骤2：对步骤1中构建的DC-ACM YOLOv3进行稀疏训练，在网络通道剪枝之前先联合训练网络权重参数和表示通道重要性的尺度因子，并以通道形式对尺度因子进行L₁正则化；

将通道剪枝网络的训练目标函数表示为：

第一项表示检测器的常规损失函数，f(γ)＝|γ|表示用于实现稀疏功能的L₁归一化项，γ为表示通道重要性的尺度因子，Γ为尺度因子集合构成的空间，λ用于平衡两者；

步骤3：通过深度网络压缩中的模型剪枝方法修剪DC-ACM YOLOv3的主干网络以获得一个更加紧凑的特征提取模型，从网络模型中挑选出重要性程度较低的部分参数进行网络参数裁剪；

在通道层面引入稀疏训练后，将批量归一化BN层中的尺度缩放因子γ作为衡量通道重要性的参数挑选出待剪枝的特征通道，然后进行通道裁剪；给定剪枝率α，定义全局阈值表示所有γ值中第α个百分比对应的值，同时以层级的局部保护阈值θ限制待剪枝通道的尺度因子，根据这两个阈值和θ对所有卷积层构建剪枝掩膜；

处理骨干网络的路由层时，按顺序拼接其所有输入的剪枝掩膜并经输出掩膜作为当前层的剪枝掩膜；对于跨层连接层，为匹配与该层相连接的层的通道数，遍历所有与其相连接层的剪枝掩膜并执行“或”的操作以产生这些连接层的最终剪枝掩膜；获取剪枝掩膜后，移除所有尺度因子接近0的通道对应的输入输出以及权重参数从而得到网络的轻量化模型；

步骤4：使用特征图间相互关系指导的知识蒸馏策略，将设计的检测器DC-ACM YOLOv3定义为教师模型，而学生网络是经过通道剪枝得到的轻量化网络；

给定输入图像I，分别对其在教师网络和学生网络中进行特征提取，得到教师网络中的预测特征图集合和学生网络中的预测特征图集合每一层级的预测特征将接入分类分支和回归分支生成对应的属于目标类别的概率p和对应的回归偏置R；分别从三个层面即骨干网络特征，分类头部和边框回归头部进行教师网络到学生网络的蒸馏；

具体包括如下步骤：

4.1首先构造特征相似度图FAG来表示不同层级特征图之间的知识

给定训练实例x_i，定义f_l(x_i)为从第l个阶段中提取的特征，即骨干网络中三个层级的中间特征图；将特征的互关系表示为不同尺度特征间的邻接矩阵A_l，将第i个训练样本对应的FAG表示为：

FAG_i＝(V_n,E_n)＝(f_l(x_i),A_l)

其中，V_n为一系列表示不同预测层级特征分布的节点，每对节点由边集合E_n连接，其中的每个元素A_l表示特征间的关系，特征间的关系矩阵A_l(m,n)由下式计算：

式中，f_m(x_i)和f_n(x_i)表示训练实例x_i中提取的第m和n阶段特征，表示欧几里得距离计算；

4.2构建基于条带池化的注意力模块SPAM增强图结构中的每个特征

SPAM图结构中不同层级的特征图作为输入特征图进行SPAM操作，得到每层特征的注意力图其将作为特征重要性的描述子；

SPAM首先沿着通道轴以两个平行分支生成对应的池化特征，为保证两个池化特征有相同的空间尺度，接着送入卷积核大小为3的一维卷积层，输出的水平条带池化特征和垂直条带池化特征分别是P_hori和P_ver；两个分支的特征以相加方式融合后，经过1×1卷积和激活函数得到空间注意力图A_sam(X_i)，再与原输入特征图相乘得到注意力增强的输出特征图X_sam，计算过程如下式所示：

其中，f^1×1表示1×1卷积，表示按元素相加，σ为Sigmoid激活函数，表示按元素相乘；

4.3在骨干网络的中间特征，分类头部和边框回归头部部分增加来自教师网络的监督信号，融合这三个蒸馏项得到轻量化的学生网络的训练目标函数，计算公式如下式：

L_cls，L_reg分别表示图结构下得特征蒸馏损失，分类和回归分支中的蒸馏损失，β表示控制特征蒸馏损失比例的超参数。