[发明专利]基于特征加权与网络微调的小样本目标检测方法

说明书

本发明属于计算机视觉图像目标检测技术领域，提供基于特征加权与网络微调的小样本目标检测方法。完成有B个基类和N个新类(小样本)的目标检测任务。本发明为经典Faster RCNN目标检测算法增加了元学习器为检测器学习权重矢量，并据此将网络训练过程划分为基类训练和微调训练两个阶段；为经典的Faster RCNN检测器添加了特征加权过程，并改进了随后的区域池化和预测层网络，以适应加权后的特征金字塔。本发明有效提升了小样本目标检测的精度。

技术领域

本发明属于计算机视觉图像目标检测技术领域，具体涉及一种小样本目标检测方法。

背景技术

近年来，基于深度学习的计算机视觉技术取得了突破性进展，在目标分类、检测、分割等任务上表现出了接近甚至超过人类的水平。人类可以通过学习少量的数据样本，就轻易地识别出某些新的物体，但是，深度学习的方法却需要大量的数据做训练，与人类在小样本学习上的能力差距还比较大。目前，已有许多关于小样本学习的研究，在计算机视觉领域主要是研究目标分类。对于更复杂的小样本目标检测任务，研究还比较少。论文《Few-Shot Object Detection via Feature Reweighting》较早地提出了一种元学习方法，在元学习阶段通过大量的基类样本学习图片的元特征，加权后进行目标检测；《FrustratinglySimple Few-Shot Object Detection》提出了一种两阶段训练，即基训练和微调训练的小样本目标检测方法，只通过少量的样本微调网络的最后一层，达到小样本目标检测的目的。论文《FSCE:Few-Shot Object Detection via Contrastive Proposal Encoding》指出小样本目标检测性能的降低主要是由于将少量样本的新类错误分为其它类导致的，因此算法引入一个CPE loss，衡量类内实例之间的一致性和类之间实例的差异性，通过减小CPEloss来提高正确分类的性能。

以上这些研究遵循了小样本目标检测的一种任务模式：定义存在大量训练样本的目标类型为基类，仅有少量训练样本的目标类型为新类。利用基类和新类样本训练小样本目标检测器，完成从测试数据中同时检测基类和新类的任务。

发明内容

本发明目的是提供一种能够有效提升检测精度的小样本目标检测方法，解决小样本目标检测精度不高的技术问题。

为达到上述目的，解决上述技术问题，本发明提出一种基于特征加权与网络微调的小样本目标检测方法，技术方案如下：

S1，检测任务建模：设共有B类待检测目标，其中每类目标具有大量训练样本，定义这些类为基类；另有N类目标，每类目标仅具有K个训练样本(小样本)，定义这些类为新类。小样本目标检测任务即由测试样本中检测全部(B+N)个类；为(B+N)个待检测类分配唯一的身份id编号，B个基类id编号用i_B∈{1,…,B}表示，N个新类id编号用i_N∈{B+1,…,B+N}表示。

S2，网络构造：网络整体构造主要包括两部分，一是改进的Faster RCNN检测器(Detector)，二是轻量级CNN构成的元学习器(Meta-learner)，如图7所示；

检测器主要包括(1)骨干网络(Backbone)、(2)推荐区域网络(Region ProposalNetwork，RPN)、(3)区域池化网络(ROI Pooling Network)和(4)预测层(PredictionLayer)4个网络模块以及一个特征加权操作过程；

训练阶段检测器输入数据为查询样本，包括图片及其标注；元学习器输入数据为支持样本，按对应类别顺序排列；检测器的骨干网络输出的特征金字塔与元学习器输出的各类别的权重矢量经过特征加权操作后，获得加权后的特征金字塔，继续参与随后的区域池化和预测，输出检测框及其分类得分，用于后续训练或输出检测结果；各网络模块详细结构见后续附图及说明。