[发明专利]一种基于部件关联的行人检索方法

说明书

技术领域

本发明涉及智能监控领域，尤其涉及一种基于部件关联的行人检索方法。 

背景技术

随着监控摄像头的广泛安装，每天产生数以万计的监控视频数据，如何在海量的数据中找到需要的内容和目标是一项具有挑战性的任务。传统的基于内容的视频检索的一个前提就是：建立以视频帧中视觉内容为单位的索引，以便于在海量视频中快速查找与定位。这就要求将视频帧中待检索内容在视频背景中完美的分割出来并提取其特征，而分割效果的好坏将直接影响检索的精度，因此，得到一个好的目标前景与背景的分割非常重要。 

对于监控视频来说，由于其具有低分辨率、高噪声、光照变化大等特点，对于视频库中在不同时间、不同场景下出现的同一物体来说，它的尺度、方向、光照甚至分辨率都会发生变化，在这种情况下，如何选取合适的视觉特征描述子来对视频内容进行描述，就显得尤为重要。目前常用的基于视觉描述的特征主要包括颜色、形状和纹理，这些特征在图片检索领域得到了广泛的应用，取得了良好的效果。然而，由于监控视频具有上述特点，必须找到一种能够对尺度、方向、光照变化等具有较好鲁棒性的视觉特征描述子。 

现有的特征描述方法主要是针对局部特征来描述的，忽略了视觉内容上下文之间的关系。比如，视频监控中的行人由头部、躯干和下肢三部分组成，局部描述只能局部的描述各个部分自身的特征，然后将这些特征拼接用于检索。这种方法对于具有复杂形状的视觉内容，不能得到令人满意的效果。 

由于监控视频通常是海量的，一般都以TB为单位来度量，而其中所包含的待检索内容也是海量的。当对监控视频中的视觉内容提取特征之后，如何存储这些特征使得基于内容的检索能够快速、高效的进行，依然是一个值得探索的问题。目前常用的索引方法是建立倒排表。把包含同一特征的视觉内容列成一个表，表的开头是某个视觉特征向量，表的后面依次连接着包含该特征向量的视觉内容的位置。当我们得到一个待检索视觉内容时，可以先提取其特征向量，然后利用这些特征向量在倒排表中快速定位视觉内容的位置。该方法在视频规模较小的时候计算效率很高，但是当视频规模扩大时，特征向量的个数就会快速增长。在海量的特征向量中寻找匹配项，将会耗费大量时间。因此，亟需一种快速、高效的索引定位方法。 

发明内容

本发明是针对现有技术的不足，提出的一种基于部件关联的行人检索方法，用以解决现有技术中无法通过行人的部件属性在海量视频中进行检索的问题，达到快速定位的目的。 

一种基于部件关联的行人检索方法是通过提取行人图像中关联的部件并结合部件之间的关系进行分析，然后对比输入检索图特征点与提取分析的关联部件特征点的相似性形成相似性序列表达到检索行人的目的。 

进一步的，一种基于部件关联的行人检索方法提取分析关联部件特征点的步骤包括前景和轨迹提取、行人部件关系描述、基于部件索引和存储和基于部件的行人检索四个部分。 

对视频中的行人前景和轨迹提取方式为： 

第一步：采用帧间差分法得到监控视频的前景图像；对前景目标采用最近邻方法进行跟踪，从而得到目标的轨迹；运用高斯滤波的方法去除噪声点，使区域边缘平滑；

第二步：通过给检测区域面积设置一个最大和最小阈值的方法，排除不符合条件的区域，得到合理的帧间差图像；

第三步：把帧间差的二值图像看作原图像对于前景的掩码，并在原图像中提取出前景图像。

对行人部件关系描述的方法为：将图像的前景和背景分离，然后对行人进行部件划分，将行人分成头部、躯干、左臂、右臂、左腿和右腿六个部件，对于每个部件提取局部特征点，用不同的部件之间的特征点的共生关系来对部件进行建模。 

进一步的，所述的建模方式为：从任意两个部件中分别选择M个局部特征点，利用 个特征点的组合作为所述两个部件的视觉描述，记做，同时采用传统的词频和词频倒数（TF-IDF）进行相似性度量。 

对于基于部件的索引和存储方法为： 

首先采用基于部件的索引结构，建立特征点树，所述的特征点树的第一层为行人整体，特征点树的第二层为头部、躯干、左臂、右臂、左腿和右腿六个基本部件，同时将属于每个部件的特征点都量化到每个部件下属的子节点中；

然后对提取的特征点采用分层次的均值聚类(hierarchical K-means)方法分别聚类得到视觉码本；将属于每个部件的视觉码本按照层次关系映射到特征点树结构中，同时剔除不属于部件的特征点；

其次对视觉码本采用倒排索引的存储结构进行存储，将属于头部、躯干、左臂、右臂、左腿和右腿六个部件的特征点的词频用7个比特进行存储。