[发明专利]基于视觉空间显著性约束的跨摄像机行人目标匹配方法

摘要

本发明公开了一种基于视觉空间显著性约束的跨摄像机行人目标匹配方法，具体是一种通过行人图像间视觉和空间约束来进行显著性学习，以显著性学习结果为基础进行跨摄像机行人目标匹配的方法，首先对行人目标模板图像进行前景提取和过分割以得到行人目标子区域集合，然后在此区域集合上利用区域之间的视觉关联性和空间关联性分别构造视觉超图和空间超图，接着利用超图联合排序获得每个区域的视觉空间显著性分数，最后通过对模板图像与可疑目标图像进行显著性区域匹配得到最终的跨摄像机行人目标匹配结果。本发明具有无需提前训练、精确度高、易于实现等优点，为实际场景中的跨摄像机行人匹配提供了一种有效方法。

主权项

一种基于视觉空间显著性约束的跨摄像机行人目标匹配方法，其特征在于包括以下步骤：步骤1：读取待匹配行人目标模板图像和可疑行人目标图片，利用行人目标模板图像构建投票人集合，定义投票人集合为其中N为投票人集合中的图片数，xi代表行人模板图像；将某一可疑行人目标的图片集合作为检索人输入，定义检索人集合为其中M为检索人集合里的图片数，yj代表检索人图片；步骤2：将投票人集合和检索人图像统一归一化为128×64像素，并通过前景提取算法提取每幅图像的前景区域；步骤3：利用Mean‑Shift算法对投票人集合里的每幅图像和检索人图像进行过分割处理，若M＝1则将所有过分割得到的区域统一纳入区域集合Nr为投票人集合和检索人集合中所有图片过分割得到的子区域数量的总和；若M＞1则将检索人集合中的每张图片单独考虑，分别重复M次M＝1时的处理步骤，并对M次结果进行平均；步骤4：将区域集合R中的每个子区域作为顶点构建视觉超图，对于任意区域rn∈R，将其自身作为中心节点，与其它每幅图像中的子区域计算视觉特征距离，除去rn自身所属图像外，在每幅图像中选取一个与中心节点视觉空间距离最邻近的区域，将包含中心节点在内的共N+1个顶点相连接，构成一条视觉超边，从而构建全部Nr条视觉超边；步骤5：同样，将区域集合R中的每个子区域作为顶点构建空间超图，对于任意区域rn∈R，将其自身作为中心节点，与其它每幅图像中的子区域计算空间距离，除中心节点自身所属图像外，在其它每幅行人图片中选取一个与中心节点空间像素距离最邻近的区域，将包含中心节点在内的N+1个顶点相连接，构成一条空间超边，从而构建全部Nr条空间超边；步骤6：利用视觉超图和空间超图中超边与顶点的关系，分别计算视觉超图关联矩阵Hv和空间超图关联矩阵Hs，关联矩阵Hv和Hs皆为Nr×Nr矩阵，若某一顶点属于某条超边，则关联矩阵中对应行列的元素为1，否则，对应元素为0；步骤7：对于视觉超边集合Ev中的每条超边ei∈Ev，定义其权重如下：wv(ei)=Σra,rb∈eiexp(-dv(ra,rb)2σv2)]]>其中，dv(ra,rb)为区域ra和rb之间的视觉特征距离，而σv为整个区域集合R中各子区域之间视觉距离的平均值；之后定义视觉超边权重矩阵Wv，Wv为一对角矩阵，其第i行第i列存放着视觉超边ei的权重值；步骤8：对应地，对于空间超边集合Es中的每条超边ej∈Es，定义其权重如下：ws(ej)=Σra,rb∈ejexp(-ds(ra,rb)2σs2)]]>其中，ds(ra,rb)为区域ra和rb之间的空间像素距离，而σs为所有顶点间的平均空间距离；定义空间超边权重矩阵Ws，Ws为一对角矩阵，其第j行第j列存放着空间超边ej的权重值；步骤9：计算得到两个超图的顶点度矩阵、超边度矩阵，并利用超图的关联矩阵、顶点度矩阵、超边度矩阵以及超边权重矩阵，分别计算视觉超图和空间超图的超图拉普拉斯矩阵Lv和Ls；步骤10：利用超图拉普拉斯矩阵Lv和Ls，将子区域显著性学习转化为两个超图上的联合排序问题，以使计算得到的子区域显著性同时满足视觉约束和空间约束，显著性学习问题定义如下：argmins{λvsTLvs+λssTLss+μ||s-z||2}]]>其中s是需要被学习得到的显著性向量，最终结果包含了所有子区域的显著性分数；z为归一化区域尺寸向量，包含了区域集合R中每个子区域归一化后的像素尺寸；λv和λs为两个权重参数，用于调节目标函数前两项之间的平衡关系；μ也为平衡参数，用于调整目标函数第三项对显著性学习过程的影响；步骤11：通过交替迭代优化算法解决显著性学习目标函数优化问题，在得到满足约束条件的最优的显著性向量s的同时，根据不同投票人集合对视觉约束和空间约束的不同敏感性，自适应地调整λv和λs，使两个平衡参数对于显著性学习问题同时达到最优；步骤12：利用学习得到的区域显著性，定义基于显著性的earth mover's distance距离来度量投票人集合中的行人图像与检索人集合中行人图像间的区域匹配距离；根据区域匹配距离对不同的检索人集合进行排序，与投票人集合区域匹配距离最小的检索人集合即为跨摄像机行人目标匹配结果。