[发明专利]一种基于全局和局部信息融合的目标检测方法

说明书

本发明涉及一种基于全局和局部信息融合的目标检测方法，属于视频图像处理领域。首先，将场景送入卷积神经网络中增加网络的记忆能力，使网络更好的学习场景上下文信息，得到全局的场景特征；其次，借鉴注意力机制，自适应地建立物体与物体之间的关系，得到局部的物体特征；最后，通过信息传递融合场景特征和物体特征增强特征表达。本发明的优点是，同时考虑全局场景特征和局部物体特征，并通过信息传递更好的表征目标特征，大量的对比实验表明，其检测性能明显优于其它目标检测方法。

技术领域

本发明属于视频图像处理领域，尤其是指一种基于全局和局部信息融合的目标检测方法。

背景技术

目标检测在自主驾驶、机器人、视频监控、行人检测等领域有着广泛的应用，是计算机视觉和机器学习领域的研究热点。经典的目标检测技术主要是基于手动特征的使用，可以分为三个步骤：(1)目标区域的选择；(2)特征提取；(3)分类。在第一步中，广泛采用滑动窗口策略，利用不同维数和长宽比的滑动窗口，对候选区域进行详尽的搜索。第二步对候选区域进行分析，可以使用多种技术进行特征提取，如尺度不变特征变换(SIFT)、方向梯度直方图(HOG)和加速鲁棒特征(SURF)等传统方式。第三步，利用支持向量机、AdaBoost等分类器对候选区域进行分类。虽然经典方法得到了良好的检测效果，但仍然存在一些限制，阻碍了其在速度和精度上的突破。例如，由于滑动窗口策略会在原始图像中捕获许多候选区域，并且需要逐个提取区域的特征，因此经典的目标检测方法非常耗时。而且，由于人工设计的特征对物体形态、光照和遮挡的变化非常敏感，导致传统的目标检测方法缺乏鲁棒性。

近年来，一些深度学习技术被应用到物体检测中，克服了传统方法的局限性。目前最先进的基于深度学习的检测器大致可以分为两类。一种是两阶段方法，首先通过选择性搜索(Selective Search)、EdgeBoxes、深度掩码(DeepMask)或区域建议网络(RPN)形成一系列候选对象建议，然后将这些建议框输入卷积神经网络进行分类。另一种是一阶段方法，它直接预测多个对象在整个特征图上的置信度和位置，而不生成候选对象建议。

基于区域的卷积网络(R-CNN)是目标检测和深度学习相结合的开端，也是一种具有代表性的两阶段方法。该方法通过从候选区域中提取特征，并采用线性支持向量机作为分类器，达到了很好的目标检测精度。但是，由于卷积网络前向传递是针对每个对象建议独立执行的，因此R-CNN的计算成本很高。此外，包含特征提取、网络微调、训练支持向量机和边界框回归的多阶段训练策略也使得R-CNN的训练速度变慢。由此，He等人提出一种空间金字塔汇聚网络(SPPNet)。该方法虽然可以通过共享计算来提高R-CNN的速度，但它的训练也是一个多级管道。此外，SPPNet中提出的微调算法无法更新卷积层，在网络深度较深时限制了其准确性。为了进一步降低计算成本，提高目标检测的准确性，Girshick等人提出了一种快速的基于区域的卷积网络(Fast R-CNN)。Fast R-CNN利用一种新颖的RoI-pooling操作，从共享卷积特征图中提取每个候选区域的特征向量，大大提高了处理速度。在Fast R-CNN中，还可以通过在训练过程中更新所有网络层来提高检测精度。虽然SPPNet和Fast R-CNN有效地减少了目标检测网络的训练时间，但是区域建议计算仍然是它们的瓶颈。为了解决这个问题，Ren等人提出了Faster R-CNN，该方法用RPN代替选择性搜索方法实现端到端的训练。RPN通过与检测网络共享全图像卷积特征，使得几乎无损耗的区域方案能够解决FastR-CNN耗时的问题。然而，在RPN中，将一组固定的滤波器滑动到一组固定的卷积特征映射上所产生的多个尺度建议可能与对象的大小不一致。因此，Cai等人提出了多尺度卷积神经网络(MS-CNN)来匹配不同尺度对象的接受域，并采用多输出层进行对象检测。