[发明专利]基于视频序列帧间信息的行人检测方法

说明书

本发明公开了一种基于视频序列帧间信息的行人检测方法，构建Faster R‑CNN网络作为行人检测模型，在Faster R‑CNN网络的RPN网络中，在初步筛选得到的行人候选框集合中加入上一帧视频图像的行人检测结果集合，然后采用软化非极大值抑制Soft‑NMS方法对新的行人候选框集合中的行人候选框进行处理，重置各个行人候选框的置信度；在对视频序列进行行人检测时，设置第1帧视频图像的上一帧视频图像的行人检测结果集合为空，后续视频图像根据上一帧行人检测结果得到上一帧视图图像的行人检测结果集合。本发明通过引入视频序列中的时间上下文信息，提高行人检测准确率。

技术领域

本发明属于计算机视觉技术领域，更为具体地讲，涉及一种基于视频序列帧间信息的行人检测方法。

背景技术

二十世纪以来，随着科技的高速发展，利用现代高科技的手段进行社会公共安全的维护、公安部门刑事案件的侦破等已经成为一种重要方式。而随着“平安校园”、“智慧城市”等一些社会安防项目的实施，视频监控系统逐渐普遍应用于交通、教育、商业以及公安等领域。在交通领域，用于进行超速、闯红灯等违章行为的记录和取证。在教育领域，用于考试作弊等行为的监控。在商业领域，在一些超市、商店中，可以进行商品的防扒窃行为监控等。在公安领域，智能监控系统可用于协助案件侦破。而与我们生活息息相关的家用领域，视频监控也无处不在。各大厂商相继退出了智能相机和家用的视频监控设备，利用远程监控来维护私人家庭、住宅小区等的房屋财产和人员安全，减少了入室盗窃、毁坏公共设施等不法行为。

行人检测是视频监控中最基础的任务，它是指在图像或者视频中检测出当中的行人，并获得其准确的中心位置和尺寸。行人检测具有很多潜在的应用前景，如智能视频监控、图像标注、人机交互、行为分析和图像检索等。由于行人姿态和穿着各异，且常受到光照变化和复杂背景的干扰，使得实际场景下的检测任务具备一定的挑战性。行人检测问题属于目标检测的范畴，可以非常方便地进行迁移学习，目前国内外比较流行的行人检测算法正是沿用了基于深度学习的目标检测方法。

近几年来随着深度学习的兴起，通用目标检测领域涌现出了一大批优秀的算法，代表性例如Faster R-CNN网络，详细请参考文献：Ren S,He K,Girshick R,et al.FasterR-CNN:Towards Real-Time Object Detection with Region Proposal Networks[J].IEEE Transactions on Pattern AnalysisMachine Intelligence,2015,39(6):1137-1149。这类算法的共同特点是利用卷积神经网络自动地学习特征，然后分别用两个子网络进行目标的分类和位置回归。基于深度学习的这类方法可以进行端到端的训练，在训练数据量充足的情况下，其检测效果相较于传统法方具有较大的突破。但Faster R-CNN网络是基于单帧图的目标检测框架，而在视频目标检测领域，基于视频的研究或者针对监控场景的目标检测方法明显少见，目前仅有少数研究工作利用视频的光流信息来训练检测器。例如有的研究人员聚焦于视频序列中的关键帧，提取出关键帧的特征后通过轻量级特征流网络将特征流传播到相邻帧中，显着加快了视频目标检测的过程，详细请参考文献：X.Zhu,Y.Xiong,J.Dai,et al.Deep Feature Flow for Video Recognition[J].ComputerVisionPattern Recognition,2016。

发明内容

本发明的目的在于克服现有技术的不足，提供一种基于视频序列帧间信息的行人检测方法，通过引入视频序列中的时间上下文信息，提高行人检测准确率。

为实现上述发明目的，本发明基于视频序列帧间信息的行人检测方法包括以下步骤：

S1：构建Faster R-CNN网络作为行人检测模型，Faster R-CNN网络包括基础特征提取网络，RPN网络、感兴趣区域池化网络和分类回归网络，其中：

基础特征提取网络用于对输入图像进行特征提取得到特征图；