[发明专利]面向监控视频的行人属性预测方法

说明书

技术领域

本发明属于智能监控领域，具体讲,涉及面向监控视频的行人属性预测方法。

背景技术

近年来，城市中的监控摄像头已经得到了广泛的普及，不论是在室内还是在室外，处处都可以看见监控摄像在为人们的安全保驾护航。监控摄像头数量的增长能够对犯罪分子起到威慑作用，降低犯罪率。监控视频的检索对安防具有重要意义，通过回放监控视频可以为警察侦破案件提供信息，是还原案件的主要手段。工作人员通过对监控视频进行检索，可以直观的了解到事件发生的经过，同时根据已知信息定位目标。可以说，监控视频的检索已经成为还原犯罪事件，搜寻犯罪分子最主要的手段，对于社会的长治久安具有重大意义。但是，随着监控摄像头的普及，所产生的监控视频数据也随其发展而大量增长，这导致了对监控视频的处理变得困难，人们往往需要大量的时间和精力才能在监控视频中搜索到想要的信息。如何有效地处理海量的监控视频，保留有用信息，去除冗余信息，使人们能够快速的从监控视频中得到想要的信息，变得十分重要。

采用计算机视觉技术对监控视频进行分析处理是解决这一问题的主流方法。其目的是使得监控视频的处理更加智能化，自动化。监控视频下的行人检索系统目的就是代替传统的基于人工的检索方式，减少所需的人力和时间。其方法的主要思想是利用物体检测模型对视频帧所包含的内容进行属性分类，从而使得人们能够利用生成的标签信息来检索到相应的视频帧。利用基于文本的监控视频检索系统，可以大大提高检索效率，为海量监控视频检索提供高效率方法。同时，能够避免人工检索中因为疲劳等原因所造成的信息遗漏，并且节省人力资源，提高工作效率。

监控视频检索就是要从大量的监控视频数据中找到所需要的视频帧或者视频片段。现有的监控视频检索大多是基于图像或视频片段的搜索，这种方法的核心思想是先对待查询视频进行结构化分析，例如提取关键帧，镜头分割，再分别对查询图像和待检索视频的关键帧、镜头等进行特征提取，最后通过计算两者之间的相似度进行检索。

另一类视频的检索方式是通过文本关键词来进行检索，其通过对视频图像进行分类，生成标签，建立索引。在监控视频检索领域，基于文本的检索方法不是很多，原因在于对视频的文本描述需要跨越语义鸿沟，这是多媒体分析领域的难点问题。但是，随着近年来图像检测与图像分类方法的兴起，使得这类方式的实现成为可能。

近些年，基于深度学习的图像检测方法开始兴起，卷积神经网络被广泛应用于物体的检测与分类以及图像的其他应用领域。这些应用都使用了大量的带有标签的数据来训练模型，比如人脸检测，交通信号识别，细粒度分类。2015年，Ross B.Girshick及其团队基于卷积神经网络提出了快速区域卷积神经网络faster-RCNN模型，该模型能够快速准确的识别图像中存在的各类物体，在PASCAL VOC2007数据集上的平均准确率mAP达到了73％。这使得图像的自动标注成为可能，也为监控视频检索中自动生成视频帧的文本信息提供了基础。

发明内容

为克服现有技术的不足，本发明旨在提出一种面向监控视频的行人属性预测方法，主要应用在存在人员流动的监控环境下，可以通过输入行人的属性特征来检索所有出现在视频中符合特征要求的行人，从而提高监控人员的检索效率。本发明采用的技术方案是，面向监控视频的行人属性预测方法，使用等间隔采样等方法对监控视频数据进行采样，得到一系列监控视频帧，之后采用行人检测的方法来检测视频中存在的行人，并截取出行人图像；将得到的行人图像数据送入行人精细化识别网络，生成一系列行人的属性信息，最终将这些行人图像及其属性与原视频帧进行整合，构造检索系统，最终实现通过输入行人的属性特征快速检索到符合检索条件的行人图像和视频帧。

行人精细化识别网络包含两个子网络，分别是精细化类别识别网络和精细化颜色识别网络，两个子网络分别训练，都采用faster-RCNN模型来实现，行人的属性根据用户指定设置，首先构建训练数据，通过人工标注行人图像中行人的性别和头部，上衣，下衣，包的位置及其属性得到训练数据，之后分别训练精细化类别识别网络和精细化颜色识别网络；精细化类别识别网络是将头的位置及其头发长短，上衣位置及其类别，下衣位置及其类别，包的位置及其类别等一起作为类别标签送入faster-RCNN网络进行训练，最终训练得到的网络能够检测出行人身体各部分和包的位置，及其个部分所属的种类，精细化颜色识别网络是将上衣位置及其颜色，下衣位置及其颜色，包的位置及其颜色一起作为类别标签送入faster-RCNN网络进行训练，最终训练得到的网络能够检测出行人身体各部分和包的位置，及其个部分所属的颜色。