[发明专利]基于视频序列帧间信息的行人检测方法

摘要

本发明公开了一种基于视频序列帧间信息的行人检测方法，构建Faster R‑CNN网络作为行人检测模型，在Faster R‑CNN网络的RPN网络中，在初步筛选得到的行人候选框集合中加入上一帧视频图像的行人检测结果集合，然后采用软化非极大值抑制Soft‑NMS方法对新的行人候选框集合中的行人候选框进行处理，重置各个行人候选框的置信度；在对视频序列进行行人检测时，设置第1帧视频图像的上一帧视频图像的行人检测结果集合为空，后续视频图像根据上一帧行人检测结果得到上一帧视图图像的行人检测结果集合。本发明通过引入视频序列中的时间上下文信息，提高行人检测准确率。

主权项

1.一种基于视频序列帧间信息的行人检测方法，其特征在于，包括以下步骤：S1：构建Faster R‑CNN网络作为行人检测模型，Faster R‑CNN网络包括基础特征提取网络，RPN网络、感兴趣区域池化网络和分类回归网络，其中：基础特征提取网络用于对输入图像进行特征提取得到特征图；RPN网络用于根据特征图生成行人候选框，具体方法为：首先生成若干锚框，得到每个锚框的置信度和回归偏移量，计算得到行人候选框，剔除太小和超出边界的行人候选框，得到行人候选框集合α，设置上一帧视频图像的每个行人检测结果置信度ρ，将上一帧视频图像的行人检测结果集合β加入初步筛选的行人候选框集合α，即α＝α∪β，然后采用软化非极大值抑制Soft‑NMS方法对行人候选框集合α中的行人候选框进行处理，重置各个行人候选框的置信度；感兴趣区域池化网络用于根据RPN网络生成的各个行人候选框信息，映射至基础特征提取网络输出的特征图上，对特征图中的对应区域进行池化操作，得到固定大小输出的池化结果，从而得到各个行人候选框的特征图；分类网络用于计算每个行人候选框属于行人或非行人的概率，并再次获得每个行人候选框的位置偏移量，进行回归计算得到行人检测框，再将得到的所有行人检测框经过软化非极大值抑制Soft‑NMS方法进行筛选，得到最终的行人检测结果；S2：对于行人视频序列中的第1帧图像，令上一帧视频图像的行人检测结果集合β为空，采用步骤S1构建的Faster R‑CNN网络对第1帧图像进行行人检测，得到行人目标检测结果，将当前帧的行人目标检测结果集合作为新的行人检测结果集合β；S3：对于行人视频序列中的第t帧图像，t＞1，结合上一帧视频图像的行人检测结果集合β，采用步骤S1构建的Faster R‑CNN网络对第t帧图像进行行人检测，得到行人目标检测结果，将当前帧的行人目标检测结果集合作为新的行人检测结果集合α；直到行人视频序列结束。