[发明专利]一种基于难分样本挖掘的Faster RCNN目标检测方法

说明书

一种基于难分样本挖掘的Faster RCNN目标检测方法，包括：步骤1，基于深度学习的图像目标检测：步骤2，基于在线样本挖掘方法，采用的关键参数调整设置为：步骤3，负难分样本挖掘是在难分样本基础上通过调整训练中RPN形成的mini‑batch正负样本比例为1:3，进行训练；步骤4，剔除冗余框，避免损失的多重计算。采用的是改进后的非极大值抑制算法将RPN层网络生成的建议框合理的去除冗余。本发明在不扩充样本的情况下，放宽负样本的定义，通过样本本身在线挖掘出更多的难训练样本；设置了正负样本比例，合理而简便地计算损失最大、难训练的、罕见的样本；对分类、边框回归的损失进行了平衡化处理，能够满足训练损失的持续降低。

技术领域

本发明涉及一种基于在线的样本挖掘技术(OHEM)与负难分样本挖掘(HNEM)等技术相结合的方法。

技术背景

近几年随着计算机科学技术的飞速发展，基于计算机技术的图像处理、图像目标检测等也获得了空前的快速发展，其中深度学习通过学习海量的数字图像特征，提取关键目标特征，在目标检测上已超过人类，给工业界带来了一个又一个惊喜。计算机视觉的两大任务是图像分类和目标定位检测，而传统方法的图像特征检测是依靠富有经验的算法工程师设计对应目标的匹配模板，比如可变形模型(DPM)、HOG特征提取等，前者的目标检测是通过滑动的窗口对目标进行定位，而后采用固定特征的模板匹配对其进行分类。其存在的问题是检测耗时长，特征匹配精度低，对特定的目标有效，导致模型泛化能力弱等一系列问题。而最近兴起的深度学习方法能够针对复杂场景的目标，进行有效地特征识别，识别效果远优于传统方法，但也存在的不足之处：(1)数据集量庞大深度学习的训练集需要成千上万个样本，才能够有效学习数据特征，且数据越多，效果越好，给数据采集工作带来一定的困难；(2)硬件要求较高，训练大数据样本，需要至少4个G的显存，对硬件提出较高要求；(3)训练技巧性强，当参数设置不合理时，样本训练效果较差，出现难训练的情况。

发明内容

为了克服现有技术的上述不足，本发明针对样本问题提供了一种基于难分样本挖掘的Faster RCNN目标检测方法，本发明是一种在不增加样本情况下的在线样本挖掘技术和负难分样本挖掘相结合的技术，使模型能够针对现有的难分样本，有针对性地学习其特征，达到模型进一步提升泛化性、鲁棒性的效果。

为实现上述目的，本发明采用以下技术方案：

一种基于难分样本挖掘的Faster RCNN目标检测方法，包括如下步骤：

步骤一，基于深度学习的图像目标检测；

目前，基于深度学习的图像目标检测模型大多基于卷积神经网络，所以本发明主要基于Faster RCNN进行分析，并且提出一种合理的改进后的方法。

Faster RCNN采用了Softmax Loss和Smooth L1 Loss对分类概率和边框回归联合训练，损失函数公式为：

其中，N_cls＝256表示前景的个数，而边框回归个数N_reg＝2400是最后特征图滑动的最大维度数量40×60；i表示某一个建议框；p_i表示预测出对应类别的概率，包括前景、背景；表示前景与背景的取值，记前景背景以此计算目标边框回归的损失；t_i表示该建议框的坐标信息，即中心点坐标和建议框宽高t_i＝(x_i,y_i,w_i,h_i)，而表示真正对应的目标物体信息，同样的而λ平衡着边框回归和分类损失的权重；L_cls为softmax分类损失函数，边框回归损失采用smooth L1的方法。

如上方法训练到一定程度，会产生对难训练的样本数据不足，缺乏对其训练等的问题。但是，样本挖掘能够解决难分样本训练问题。所以对步骤一中的方法进行如下几个步骤的改进。