[发明专利]一种基于部件关联的行人检索方法

权利要求书

1.一种基于部件关联的行人检索方法是通过提取行人图像中关联的部件并结合部件之间的关系进行分析，然后对比输入检索图特征点与提取分析的关联部件特征点的相似性形成相似性序列表达到检索行人的目的。

2.根据权利要求1所述的一种基于部件关联的行人检索方法，其特征在于，提取分析关联部件特征点的步骤包括前景和轨迹提取、行人部件关系描述、基于部件索引和存储和基于部件的行人检索四个部分。

3.根据权利要求2所述的一种基于部件关联的行人检索方法，其特征在于，对视频中的行人前景和轨迹提取方式为：

第一步：采用帧间差分法得到监控视频的前景图像；对前景目标采用最近邻方法进行跟踪，从而得到目标的轨迹；运用高斯滤波的方法去除噪声点，使区域边缘平滑；

第二步：通过给检测区域面积设置一个最大和最小阈值的方法，排除不符合条件的区域，得到合理的帧间差图像；

第三步：把帧间差的二值图像看作原图像对于前景的掩码，并在原图像中提取出前景图像；

对行人部件关系描述的方法为：将图像的前景和背景分离，然后对行人进行部件划分，将行人分成头部、躯干、左臂、右臂、左腿和右腿六个部件，对于每个部件提取局部特征点，用不同的部件之间的特征点的共生关系来对部件进行建模。

4.根据权利要求3所述的一种基于部件关联的行人检索方法，其特征在于，所述的建模方式为：从任意两个部件中分别选择M个局部特征点，利用                                                个特征点的组合作为所述两个部件的视觉描述，记做，同时采用传统的词频和词频倒数（TF-IDF）进行相似性度量。

5.根据权利要求2所述的一种基于部件关联的行人检索方法，其特征在于，首先采用基于部件的索引结构，建立特征点树，所述的特征点树的第一层为行人整体，特征点树的第二层为头部、躯干、左臂、右臂、左腿和右腿六个基本部件，同时将属于每个部件的特征点都量化到每个部件下属的子节点中；

然后对提取的特征点采用分层次的均值聚类(hierarchical K-means)方法分别聚类得到视觉码本；将属于每个部件的视觉码本按照层次关系映射到特征点树结构中，同时剔除不属于部件的特征点；

其次对视觉码本采用倒排索引的存储结构进行存储，将属于头部、躯干、左臂、右臂、左腿和右腿六个部件的特征点的词频用7个比特进行存储。

6.根据权利要求2所述的一种基于部件关联的行人检索方法，其特征在于，首先，输入的行人图片同时通过前景和轨迹提取进行目标提取和跟踪，同时采用了高斯平滑的方法对帧间差图像进行滤波，即便在分辨率较低的监控视频中也能得到较好的目标分割和跟踪结果；

其次，对于分割得到的行人，采用的是基于潜在变量的支持向量机的方法对部件进行检测，然后对每个部件提取局部特征点，并对特征点按照特征点树存储结构进行量化，对每个特征点到数据库中检索具有相同特征点的部件，将能够找到匹配的部件数记做P（0≤P≤7）；

对于P个部件，在其中任意选择两个部件的组合数为，依次遍历两个部件的所有特征点的任意组合并统计它们出现的次数作为关系描述，然后将基于部件的关系描述进行二次检索，采用传统的词频和词频倒数（TF-IDF）计算它的相似性，并将所有组合的检索的相似性相加，得到最终的检索结果。

7.根据权利要求2所述的一种基于部件关联的行人检索方法，其特征在于，计算相似性列表的公式为：

其中：

 输入检索图q和数据库的图像I的相似性

为第k个部件中的第i个特征点；

 为的词频；

 是的词频倒数。