[发明专利]基于特征加权与网络微调的小样本目标检测方法

权利要求书

1.一种基于特征加权与网络微调的小样本目标检测方法，其特征在于，包括如下步骤：

S1，检测任务建模：设有B类具有大量训练样本待检测目标，定义为基类；有N类仅有K个训练样本的目标，训练样本为小样本定义为新类；小样本目标检测任务即由测试样本检测(B+N)个类别的目标，为(B+N)个待检测类分配唯一的身份id编号，B个基类id编号用i_B∈{1,…,B}表示，N个新类id编号用i_N∈{B+1,…,B+N}表示；

S2，网络构造：网络整体构造主要包括两部分，一是改进的Faster RCNN检测器，二是轻量级CNN构成的元学习器(Meta-learner)；

检测器包括骨干网络、推荐区域网络、区域池化网络和预测层这4个网络模块以及一个特征加权操作过程；

所述特征加权操作是对特征金字塔和权重张量的操作；其中，只对特征金字塔的P['0'],P['1'],P['2'],P['3']共4层进行加权；特征金字塔特征张量与权重张量对应元素逐通道相乘，再将它们按通道拼接；

S3，数据准备

样本标注，每张训练图片标注一个符合YOLO算法格式的txt标注文件；

基类训练数据准备，将所有基类图像样本汇总作为基类训练数据集；

微调训练数据准备，为平衡基类和新类训练数据量不均衡问题，该阶段对每个基类随机抽取K个样本，将基类和新类共(B+N)×K个样本作为微调训练数据集；

S4，模型训练

S4.1，利用基类训练数据集开展基类训练，基类训练采用批随机梯度下降的方式训练网络，每批训练过程如下：

S4.1.1由基类训练数据集随机抽取批数量bz的图片样本，称为查询样本，输入检测器；

S4.1.2从基类训练数据集中为每个基类抽取1张图片，按编号顺序排列，共B张图片组成特征样本，输入元学习器；

S4.1.3检测器骨干网络输出特征金字塔，随后分两路：一路经过RPN网络获得训练框；一路与元学习器输出的权重张量进行加权操作。加权后的特征金字塔与训练框经过区域池化和预测层后，输出检测结果，与查询样本的标注结果对比计算损失函数值，采用Adam优化器更新网络参数；

S4.1.4重复以上步骤，直至训练结束，保存网络参数；

S4.2，利用微调训练数据集开展微调训练，微调训练每批训练过程如下：S4.2.1修改预测层，将预测层全连接网络的输入由基类训练时的B×1024维修改为(B+N)×1024维，其它部分结构不变。

S4.2.2网络参数初始化，预测层网络参数随机初始化，其余各层读入基类训练时保存的网络参数。冻结骨干网络和RPN网络参数。

4.2.2由微调训练数据集随机抽取批数量的查询样本输入检测器，可重复抽样；

S4.2.3从微调训练数据集中为每个类，含基类和新类抽取1张图片，按编号顺序排列，共(B+N)张图片组成特征样本，输入元学习器；

S4.2.4按S4.1.3相同流程，输出检测结果，与查询样本的标注结果对比计算损失函数值，采用Adam优化器更新网络参数；

S4.2.5重复4.2.2至4.2.4步骤，直至训练结束，保存网络参数；

S5，模型推理

S5.1计算权重张量，完成微调训练和基类训练两个阶段训练后，对每个类别，将其K个样本依次输入元学习器，得到K个权重，求算术平均，得到对应每个类的权重矢量，按类别编号顺序将各个类的权重矢量组成尺寸为(B+N,1024)的权重张量；

S5.2测试数据推理，直接将测试样本输入检测器，将输出的特征金字塔与预先计算好的权重张量加权相乘，得到按id顺序排列的加权特征，进行后续操作，直至给出检测结果。