[发明专利]一种基于难分样本挖掘的Faster RCNN目标检测方法

权利要求书

1.一种基于难分样本挖掘的Faster RCNN目标检测方法，包括如下步骤：

步骤1，基于深度学习的图像目标检测；

基于Faster RCNN进行分析，Faster RCNN采用了Softmax Loss和Smooth L1 Loss对分类概率和边框回归联合训练，损失函数公式为：

其中，N_cls＝256表示前景的个数，而边框回归个数N_reg＝2400是最后特征图滑动的最大维度数量40×60；i表示某一个建议框；p_i表示预测出对应类别的概率，包括前景、背景；表示前景与背景的取值，记前景背景以此计算目标边框回归的损失；t_i表示该建议框的坐标信息，即中心点坐标和建议框宽高t_i＝(x_i,y_i,w_i,h_i)，而表示真正对应的目标物体信息，同样的而λ平衡着边框回归和分类损失的权重；L_cls为softmax分类损失函数，边框回归损失采用smooth L1的方法；

步骤2，基于在线样本挖掘方法，采用的关键参数调整设置为：

(21)设定难分样本的筛选机制；每次迭代筛选的难分样本是根据当前的总损失L({p_i},{t_i})降序排列，并且筛选前B/N个样本量，其中B＝64，N为每次训练的图片张数N＝1；

(22)在反向传递时，筛选的难分样本是由前向损失计算得来，通过非难分样本损失置0操作，并不能减少模型显存量；所以反向传递筛选出B/N难分样本进行梯度传递；

(23)在RPN层和最后全连接层同时增加OHEM模块；

(24)调整分类损失和边框回归损失的权重；在损失函数公式中，分类损失L_cls和边框回归损失L_reg是不均衡的，N_cls＝256是分类的个数，而N_reg＝2400是最后特征图滑动的最大维度，取λ＝10；

(25)调整非极大值抑制(NMS)算法；采用分类的置信度惩罚机制，在去除冗余的建议框的同时还很好的保留了建议框，并进一步提高了平均精度均值mAP；具体的操作在步骤4中；

(26)数据增强工作提高模型的泛化能力；训练时通过随机左右镜像翻转和光照饱和度调节，增加样本多样性，防止过拟合；为提高模型对不同尺寸图像的检测能力，在训练时使用了多尺度训练，将图像的短边设置{224,416,480,512,600,672,900}的随机尺寸，另一边等比例放缩；

(27)调整学习率的策略；将学习速率的下降点设置为40k，相当于8个epoch，并且此后隔20k个迭代次数再下降一次学习速率；同时，后期采用的较小学习速率，进行极小值的精细化调整；

步骤3，负难分样本挖掘是在难分样本基础上通过调整训练中RPN形成的mini-batch正负样本比例为1:3，进行训练，具体包括：

(31)取消负样本的阈值限制；设置判定背景的阈值为[0,0.5)；设置了正样本的阈值为IoU值最大的一个，或者IoU的阈值在[0.7,1.0]范围；

(32)设置难分正负样本的比例1：3；并且设置了每次的目标图片批次大小为64，则正样本的数量为16，负样本的数量为48；

(33)同时考虑到预测出的正样本与标签存在多个重复的情况，采用了非极大值抑制方法，采用0.7的阈值，当目标与标签的IoU在0.7以下时，则予以删除；

步骤4，剔除冗余框，避免损失的多重计算；采用的是改进后的非极大值抑制算法将RPN层网络生成的建议框合理的去除冗余；具体的操作为：

降低其置信度；采取有线性加权、高斯加权法、指数加权法其中之一；

其中，线性加权的计算方法是将IoU大于阈值的降低其置信度，即引入罚函数的思想：

式中，s_i表示当前所属类别的置信度得分，a表示权值系数，0＜a≤1，b_m表示置信度得分最高所对应的边框，b_i表示当前的边框，IoU(b_m,b_i)表示两者的交并比，N_t表示所给定的阈值；

而采用高斯加权法的计算公式为：

式中，σ的取值不同影响罚函数的惩罚力度，高斯加权函数相比线性加权具有平滑过渡的特点；

指数加权法同样采用了一定的阈值，当其IoU大于该阈值时，对其进行惩罚；相比线性加权法，在阈值处具有平滑过渡的特点；相比高斯加权法，在阈值前一阶段能够保留较多权值；计算公式：

式中，N_t同样表示IoU阈值；

经过多次的实验，针对每一种改进的非极大值抑制算法，对应的具体流程和各自的适应情况总结如下：

(41)针对线性加权方法，通过置信度降序，筛选某一类中置信度最高的边框作为最优边框，比较下一个边框的IoU与既定阈值N_t，当小于该阈值时，置信度分值不变；否则置信度阈值降低为a(1-IoU)的比例，即IoU越大，惩罚力度越大；循环操作，直到所有待定边框的置信度小于给定的置信度阈值threshold，则舍弃，记录历史最优值；

(42)针对高斯加权法，同样筛选出最优置信度边框，但无需设定N_t的阈值，通过指数函数递减，即IoU越大，置信度分值递减越大，并且设定的σ值控制着递减的程度；循环比较，置信度得分，当小于既定置信度阈值threshold，剔除这些冗余框；否则保留置信度高的最优框；

(43)针对指数加权法，同样比较次优置信度边框与最优边框的IoU，设定一定的阈值N_t；当小于该阈值时，置信度分值不变；否则置信度阈值降低为该指数呈现递减的效果；直到所有的框都检测完毕，保留置信度大于阈值的建议框；

根据不同的条件和适用场合选择降低其置信度最优的计算方法。