[发明专利]一种基于Libra R-CNN的多尺度目标检测网络和交通标识检测方法

说明书

提出了一种基于Libra R‑CNN的多尺度目标检测网络。针对城市道路下的交通标志检测存在的环境复杂，目标种类多且数量不平衡的特点，对Libra R‑CNN进行改进，修改IoU‑balanced Sampling模块，使用GA‑RPN替代原有RPN，并将Balanced L1 Loss替换为Smooth L1 Loss，使训练期间产生更精确更多样化的样本，提高检测准确率，并通过实验验证了其有效性。实验是在MS COCO 2017和交通标志数据集上进行的。改进后的Libra R‑CNN的mAP提高了3个百分点，达到0.773。实验结果表明，改进后的网络相比原有的目标检测网络性能有了显著提升。

技术领域

本发明属于图像处理技术领域，具体涉及一种基于Libra R-CNN的多尺度目标检测网络以及基于此的交通标识检测方法，可用于对城市道路场景下的交通标识检测。

背景技术

机器视觉和深度学习现在有很多很广泛的应用，相对技术都已经比较成熟，大中尺度的目标检测已经达到了一个精度较高的水平，但是仍然还存在许多难点，复杂背景下的小目标检测问题和普遍存在于多类别标签目标中的数据不平衡问题就是两个突出难点，它们造成权重的不平衡，严重影响了检测的精度，但是在世界范围内都没有得到很好的解决，也因此成为影响人工智能现实应用的关键性问题。交通标识检测是同时具备这两个关键问题的典型现实应用，城市道路中的交通标识具有种类多，数据量不平衡，背景复杂，小目标多的特点，使得交通标示检测成为无人驾驶汽车发展的一个重大障碍，对这个问题的研究不仅对无人驾驶的发展具有重要意义，也对应用在各个领域的人工智能发展有着重大的意义。

基于深度学习的目标检测算法主要分为两大类，分别是基于回归的目标检测算法和基于分类的目标检测算法，基于回归的目标检测算法为one-stage算法，主要包括YOLO、SSD等；基于分类的目标检测算法为two-stage或multi-stage算法，主要包括Fast R-CNN，Faster R-CNN，Mask R-CNN以及Cascade R-CNN等。基于现实的各种应用需求和应用场景，又在以上目标检测算法基础上做了改进，衍生出具有针对性的方法。目前，研究人员己经创造和改进了许多基于图像的目标检测方法。分别提出了一些能够进行特征融合、数据增强或者可变锚框的策略，其中，Libra R-CNN达到了先进水平。

Libra R-CNN是由上边所提到的基础网络Faster R-CNN改进而来，它创造性的提出了从训练期间的平衡问题考虑，对训练期间平衡采样、特征的平衡提取、Loss值的平衡三方面进行了改进，具体改进如下。

对训练期间平衡采样进行改进的部分称为IoU-balanced Sampling。首先通过RPN进行采样。RPN能够产生9种形状的锚框，锚框在图像上移动生成大量的候选框。这些候选框的分布在IoU上并不是均匀分布的，对生成侯选框的随机采样，会导致背景框的数量远大于框中真实目标框的数量，背景占据了大部分，其IoU大多在0-0.05,为简单样本，随机采样时这种不平衡就会将困难样本埋没在简单样本中。而困难样本对检测能够产生更大的影响，因此考虑对IoU区间进行等分，在每个小区间内进行随机取样，则可以保证采样相对平衡。