[发明专利]基于元学习和跨阶段沙漏的大视场小样本目标检测方法

权利要求书

1.一种基于元学习和跨阶段沙漏的大视场小样本目标检测方法，其特征在于，包括如下步骤：

(1)构建第一训练样本集、第二训练样本集和测试样本集：

(1a)从大视场图像数据库中选取包括C个目标类别的M幅尺寸为H×W的图像T＝{T_m|1≤m≤M}，并对每幅图像T_m中的目标进行标注，得到T对应的标签集合G＝{G_m|1≤m≤M}，其中，C≥4，M≥200，T_m表示第m幅图像，G_m表示T_m对应的标签；

(1b)按照先行后列的顺序，并以大小为S_H×S_W的滑窗将每幅图像T_m裁剪成N个图像块，得到图像块集合T′＝{T′_m|1≤m≤M}和标签块集合G′＝{G′_m|1≤m≤M}，其中T′_m表示T_m对应的图像块子集合，T′_m＝{T′_mn|1≤m≤M,1≤n≤N}，T′_mn表示T′_m中的第n个图像块，G′_m表示T′_m对应的标签块子集，G′_m＝{G′_mn|1≤m≤M,1≤n≤N}，G′_mn表示T′_mn对应的标签，

(1c)筛选出标签块集合G′中交并比大于阈值的标签G′_mn，得到筛选标签块集合G″＝{G″_m|1≤m≤M}；

(1d)将图像块集合T′中的C₁个目标类别的M₁幅图像及其对应的筛选标签作为第一训练样本集，并剩余的C₂个目标类别的M₂幅图像及其对应的筛选标签中的一半作为第二训练样本集，另一半作为测试样本集，其中，M₁≥5×M₂，M₁+M₂＝M，C₁+C₂＝C；

(2)构建基于跨阶段沙漏结构的一阶段目标检测模型H₁：

构建包括级联的特征提取器f_extractor、特征解码器f_decoder和第一类别生成器f_class1的一阶段目标检测模型H₁，其中，f_extractor包括交叉层叠的多个下采样层和多个跨阶段沙漏层；f_decoder包括顺次连接的多个上采样层；f_class1包括3个并行分布的卷积层，第一卷积层的激活函数为Sigmoid，输出通道数与图像块集合T′中的目标类别个数C₁相同，第二卷积层和第三卷积层的激活函数均为ReLU，输出通道数均为2；

(3)对基于跨阶段沙漏结构的一阶段目标检测模型H₁进行迭代预训练：

(3a)初始化迭代次数为e，最大迭代次数为E，E≥120，学习率为l＝1.25×10^-4，并令e＝1；

(3b)从第一训练样本集有回放的随机选取的B个训练样本，并对每个训练样本的标签分别进行热力图转化、宽高矩阵转化和偏移矩阵转化，得到带有热力图标签、宽高矩阵标签和偏移矩阵标签的B个标签转化后的训练样本，8≤B≤32；

(3c)将B个标签转化后的训练样本作为一阶段目标检测模型H₁的输入，特征提取器f_extractor对每个训练样本的图像进行特征提取，特征解码器f_decoder对所提取每个特征进行解码，类别生成器f_class1中的第一卷积层对每个解码结果进行热力图变换，第二卷积层对每个解码结果进行宽高矩阵变换，第三卷积层对每个解码结果进行偏移矩阵变换，得到B个预测热力图、B个预测宽高矩阵和B个预测偏移矩阵；

(3d)采用Focal Loss损失函数，并通过B个热力图标签和B个预测热力图计算B个训练样本的热力图损失值L_heatmap，同时采用L1损失函数，并通过B个宽高矩阵标签和B个预测宽高矩阵，以及B个偏移矩阵标签和B个预测偏移矩阵，计算B个训练样本的宽高损失值L_size以及偏移损失值L_off，然后对L_heatmap、L_size和L_off进行加权求和，得到训练样本的损失值L；

(3e)采用反向传播方法，并通过损失值L计算一阶段目标检测模型H₁的权重参数梯度F，再采用Adam优化算法，并通过F和学习率l对一阶段目标检测模型H₁的权重参数进行更新；

(3f)判断e＞E是否成立，若是，得到训练好的一阶段目标检测模型H′₁，否则，令e＝e+1，并执行步骤(3b)；

(4)构建基于跨阶段沙漏结构的二阶段目标检测模型H₂：

构建包括训练好的一阶段目标检测模型H′₁中的特征提取器f′_extractor和特征解码器f′_decoder，以及第二类别生成器f_class2的基于跨阶段沙漏结构的二阶段目标检测模型H₂，f′_extractor、f′_decoder和f_class2依次级联；

(5)基于元学习的方法对基于跨阶段沙漏结构的二阶段目标检测模型H₂进行迭代训练：

(5a)初始化迭代次数为a，最大迭代次数为A，A≥2000，元学习率为r₁＝1.25×10^-4，并令a＝1；

(5b)初始化元学习的子任务迭代次数为v，元学习的最大迭代子任务数V，总任务损失为L_V，并令v＝1，L_V＝0，其中，2≤V≤10；

(5c)从第二训练样本集中随机选取包括c个目标类别的k个训练样本，并对每个训练样本的标签分别进行热力图转化、宽高矩阵转化和偏移矩阵转化，得到每个训练样本带有热力图标签、宽高矩阵标签和偏移矩阵标签的标签转化后的c×k训练样本，然后从c×k训练样本随机选取c×k_spt个作为支持集，选取c×k_qry个训练样本作为查询集，其中，1≤c≤C₂，k≥15，1≤k_spt≤5，5≤k_qry≤10；

(5d)将支持集作为二阶段目标检测模型H₂的输入，特征提取器f′_extractor对每个图像块进行特征提取，特征解码器f′_decoder对所提取每个特征进行解码，类别生成器f_class2中的第一卷积层对每个解码结果进行热力图变换，第二卷积层对每个解码结果进行宽高矩阵变换，第三卷积层对每个解码结果进行偏移矩阵变换，得到c×k_spt个预测热力图、c×k_spt个预测宽高矩阵和c×k_spt个预测偏移矩阵；

(5e)采用Focal Loss损失函数，并通过c×k_spt个预测热力图及其对应的标签计算支持集的热力图损失值L′_heatmap，同时采用L1损失函数，并通过c×k_spt个预测宽高矩阵及其对应的标签，以及c×k_spt个预测偏移矩阵及其对应的标签，计算支持集的宽高损失值L′_size以及偏移损失值L′_off，然后对L′_heatmap、L′_size和L′_off进行加权求和，得到支持集的损失值L′；

(5f)采用反向传播方法，并通过支持集的损失值L′计算二阶段目标检测模型H₂的权重参数梯度F′，再采用Adam优化算法，并通过F′和学习率r₂＝3×10^-4对二阶段目标检测模型H₂权重参数进行更新，得到权重参数更新后的二阶段目标检测模型

(5g)将查询集作为权重参数更新后的二阶段目标检测模型的输入，中的特征提取器对每个图像块进行特征提取，特征解码器对所提取每个特征进行解码，类别生成器中的第一卷积层对每个解码结果进行热力图变换，第二卷积层对每个解码结果进行宽高矩阵变换，第三卷积层对每个解码结果进行偏移矩阵变换，得到c×k_qry个预测热力图、c×k_qry个预测宽高矩阵和c×k_qry个预测偏移矩阵；

(5h)采用Focal Loss损失函数，并通过c×k_qry个预测热力图及其对应的标签计算查询集的热力图损失值L″_heatmap，同时采用L1损失函数，并通过c×k_qry个预测宽高矩阵及其对应的标签，以及c×k_qry个预测偏移矩阵及其对应的标签，计算查询集的宽高损失值L″_size以及偏移损失值L″_off，然后对L″_heatmap、L″_size和L″_off进行加权求和，得到查询集的损失值L″；

(5i)令令L_V＝L_V+L″，并判断v＞V是否成立，若是，执行步骤(5j)，否则，令v＝v+1，并执行步骤(5c)；

(5j)采用反向传播方法，并通过平均任务损失L′_V＝L_V/V计算二阶段目标检测模型H₂的权重参数梯度F″，再采用Adam优化算法，并通过F″和元学习率r₁对二阶段模型参数H₂进行更新；

(5k)判断a＞A是否成立，若是，得到训练好的二阶段目标检测模型H′₂，否则，令a＝a+1，并执行步骤(5b)；

(6)获取目标检测结果：

(6a)将测试样本集作为训练好的二阶段目标检测模型H′₂的输入进行前向传播，得到个预测热力图、预测宽高矩阵以及预测偏移矩阵；

(6b)通过所提取的每个测试样本的预测热力图、预测宽高矩阵以及预测偏移矩阵的目标检测信息，计算每个目标检测框的位置，得到个目标检测结果。