[发明专利]一种基于多尺度特征加权的小样本目标检测方法

权利要求书

1.一种基于多尺度特征加权的小样本目标检测方法,其特征在于：其包括以下步骤：

步骤一、实验采用PASCAL VOC数据集，将数据集分为基本类别和小样本类别两种：

步骤101、将VOC 07train/val和VOC 12train/val中的所有数据统一作为训练集，将VOC 07test中数据作为实验用的测试集；

步骤102、将VOC数据集共20个类别中随机抽取5个类别作为小样本类别用于微调过程，其余15个类别作为基本类别用于基本训练过程；

步骤103、15个基本类别用于模型的基本训练，在完成基本训练后用所有20类别一起进行少量迭代的微调得到最后的检测模型；

步骤二、基本训练过程使用15类基本类别进行训练，先构建darknet特征提取网络，用于提取输入图片的图像特征：

步骤201、构建的darknet网络为基础网路，其包括5个卷积模块和7层卷积层构成，5个卷积模块分别由1、1、3、3、5个卷积层后接上一层最大值池化层构成；

步骤202、通过基础网络提取图片中的特征，此时网络输出小尺度的特征F用于后续的特征融合；

步骤三、构建特征分支网络，让多尺度的图片特征进行融合：

步骤301、模型中构建三处特征分支网络，分支网络将多个尺度的特征连接到一起以获得更全面的目标信息；

步骤302、设计的特征分支网络由一层卷积层和一层特征尺度调节层构成，卷积层用于将不同维度的特征图进行适当降维，尺度调节层将不同尺度的特征层调节成相同尺度便于融合；

步骤303、方法使用特征分支网络将第三个卷积模块中的第三层卷积层特征F₁、第四个卷积模块中的第三个卷积层特征F₂、和第五个卷积模块中的第五个卷积层的特征F₃与主干网络提取的图像特征F进行融合获得最终的特征图；

步骤四、构建类别权重生成网络用于预测每个类别对应的权重向量：

步骤401、权重生成网络输入为每个类别的图片，输出为每个类别对应的权重向量W_i；

步骤402、权重生成网络由六个卷积模块构成，每个模块包括一个卷积层和一个最大值池化层；

步骤五、基于类别权重向量的特征加权过程，通过类别权重向量对融合后的特征进行加权处理，让目标的特征更贴近其真实类别：

步骤501、将由步骤三获得的融合特征通过一层卷积层降维到类别权重的维度；

步骤502、将类别权重对融合特征进行1×1通道数不变的卷积得到加权后的特征F_w；

步骤503、将加权后的特征进一步降维为到30维特征F₃₀，对于每个边界框模型预测6维度参数(o,x,y,h,w,c)，其中o为置信度、x为锚点的x坐标、y为锚点的y坐标、h为边界框的高、w为边界框的宽、c为目标的类别；由于每个锚点预先设定5种长宽比的边界框，所以每个锚点共预测30维参数；

步骤六、利用降维后的特征F₃₀进行回归预测，获得最终的检测结果：步骤601、将降维后的特征F₃₀图输入检测模块进行预测；

步骤602、训练过程中对于置信度o使用均方差损失L_obj公式如下：

其中p_i为网络的预测值，t_i表示为相应的标签真实值；

步骤603、对于边界框坐标x、y、w、h，模型同样使用均方差损失，L_bbox损失如下：

网络对bbox的每一维坐标都计算相应的损失，总体的边界框损失为四个坐标损失的总和，其中x_i、y_i、w_i、h_i为网络的预测值，X_i、Y_i、W_i、H_i为其真实值；

步骤604、模型训练过程中使用改进的mFocalLoss作为分类损失公式如下：

其中p_i为网络的预测值，y＝1表示预测的目标为正类，0表示预测的目标为负类，其中N为我们定义的一个超参数，其计算方式为为一个批次中正类预测的个数除以所有预测的数量，这样一个自适应的正则化项相比于传统的FocalLoss损失中使用定值正则化项能更好的适应不同训练样本而造成的正负样本比例波动问题；自适应的正则化项能根据不同情况下的正负样本比例自适应的调整正负样本损失的占比；

步骤605、网络训练的总损失Loss公式如下：

Loss＝L_obj+L_bbox+L_mFocalLoss

网络最终的损失由置信度损失、边界框损失和分类损失三部分构成；

步骤606、在基本类别上训练完成训练后得到基本类别的模型M_base，接下来将在基本类别模型的基础上进行小样本类别的微调训练；

步骤七、微调过程使用数据集中全部20个类别的少量样本进行微调，网络模型不变并且使用M_base，每个类别只有1，2，3，5或10张图片；进行少量几个迭代过程得到最终的小样本检测模型；通过微调好的小样本检测模型，我们可以得到小样本条件下的最终检测结果。