[发明专利]一种结合上下文信息和多级特征的图像中行人检测方法

说明书

技术领域

本发明涉及图像分析技术领域，尤其涉及一种基于深度学习并结合图像上下文信息和图像多级特征的行人检测方法。

背景技术

行人检测技术是指让计算机结合图像处理与相关的机器学习算法，通过对图像或视频内容的分析，能够对其中是否存在行人做出判断，如果存在行人，还需要对图像中的行人进行准确地定位标注。由于视频有由一帧帧图像组成，针对图像的行人检测技术的性能自然决定着针对视频的行人检测技术的性能，所以本发明主要对由视频转化后的静态视频图像进行行人检测。这类图像往往利用车载摄像头拍摄并取景于街道，其背景复杂，光照强弱不一，行人着装、姿势千差万别，行人被遮挡情况也时有发生，使得行人检测领域依旧存在许多挑战，因在行人检测领域，针对这类视频图像的分析具有非常重要的意义。

目前根据行人特征提取方式的不同，可以将现有的行人检测模型分为两类：

第一类是基于手工特征的行人检测方法。相比于近几年的深度学习方法，这种方法也称为传统方法，该方法针对图像某一区域，首先使用预先设计好的手工特征提取算法来提取行人特征，然后将特征输送到支持向量机SVM或者自适应增强AdaBoost分类器中进行不断地训练、分类以及定位，达到根据特征检测行人的目的。常用的手工特征有Haar-like特征、HOG特征、DPM特征及ICF特征等。对于充满挑战的视频图像，手工特征都是基于底层特征，虽然在一定的假设条件下这些方法具有良好的性能表现，但是对于来自现实场景中的具有复杂背景的视频图像，这些底层特征并不能有效地将图像中行人的特征提取并表征出来。

第二类是基于深度学习的行人检测方法。随着近几年深度学习在图像、语音、文本等领域取得了优秀的研究成果，涌现出许多基于深度学习的行人检测方法。这些方法利用深度模型自动学习行人特征，通过大量的数据不断训练，可以实现从大量高维数据中自动学习到包含成千上万参数的特征，然后对得到的特征进行分类及定位，同样可以达到行人检测的目的。目前，基于深度学习的行人检测方法性能已远超基于手工特征的行人检测方法，且通过设计更好的深度检测模型，有效地提高性能。

现有的目标检测模型包括Faster R-CNN，但是，Faster R-CNN模型本身具有两个缺点：一是Faster R-CNN中的特征分类器在分类时仅利用行人的特征，行人的周围区域往往包含更多可以帮助分类器做判决的有用信息；二是Faster R-CNN无法很好地检测图像中小尺寸行人，导致Faster R-CNN在行人检测问题上性能欠佳，误检率较高。

发明内容

为了克服上述现有技术的不足，本发明提供一种新的图像中的行人检测方法，基于深度学习并结合图像上下文信息和图像多级特征，实现图像中的行人检测。本发明方法可应用于智能监控系统或者无人驾驶中对摄像头捕捉后的图像或者视频中行人的检测，以此得到图像或视频中行人可能存在的位置，便于系统后续分析及操作。

本发明的原理是：本发明方法基于深度学习并结合图像上下文信息和图像多级特征，实现图像中的行人检测。本方法首先借鉴深度学习在目标检测领域的研究，将一个目前优秀的目标检测模型更快速的基于区域的卷积神经网络Faster R-CNN(Ren,Shaoqing,et al."Faster R-CNN:Towards real-time object detection with region proposal networks."Advances in neural information processing systems.2015)应用到行人检测领域中，达到较为良好的检测效果；然后，结合行人周围的图像上下文信息帮助Faster R-CNN中的特征分类器“看”得更加广泛，并作出更加正确的判断；最后，我们结合了Faster R-CNN中深度特征提取模型VGG16(Simonyan,Karen,and Andrew Zisserman."Very deep convolutional networks for large-scale image recognition."arXiv preprint arXiv:1409.1556(2014))的多级特征，将高层粗糙的特征与低层精细的特征组合到一起，使得特征包含更加丰富的信息，帮助Faster R-CNN能很好地检测小尺寸行人。