[发明专利]基于Pareto优化查询的手部姿态识别方法

摘要

本发明涉及一种基于Pareto优化查询的手部姿态识别方法，属于基于视频的数据处理技术领域。该方法利用Poser软件建立多视点下的手部图像库树形模型，提取手部图像特征后建立特征空间与手姿态空间的映射关系，然后采用与Poser相同视点布置摄像机拍摄目标手势，基于Pareto优化查询方法将手部姿态估计中的图像匹配问题转化为多视点优化查询，实现不同视点图像层的并行搜索以提高查询效率，最后在查询获得的Pareto最优点集中，依据欧式距离选取与圆心最近距离位置的解作为姿态识别结果。本发明采用多摄像机布置消除手部自遮挡造成的姿态识别歧义，基于Pareto优化查询方法提高识别的准确性和实时性。

主权项

1.一种基于Pareto优化查询的手部姿态识别方法，其特征在于，包括如下步骤：

(1)构建手势特征库：利用Poser软件控制手部模型姿态参数获得多视点摄像机下不同手势图像，依据视点关系建立手势图像库树形模型，采用计算机图像处理方法提取对应手部图像特征，在树形模型下建立手势特征空间与姿态参数空间的映射关系；

(2)获得目标手势图像特征：采取与手势图像库相同视点布置摄像机拍摄目标手部图像，提取手部区域后采用步骤(1)中的图像处理技术提取目标手势不同视点下图像特征；

(3)Pareto优化查询：将步骤(2)拍摄得到的目标手势各视点图像特征与树形模型中对应视点层各个图像特征进行比较，不同视点层图像可以并行计算与目标手势对应视点下的图像不相似度，与同一手势不同视点图像的不相似度构成了一个多维空间数据点，称为Pareto点，与不同手势的比较就构成了多维空间的Pareto点集，然后通过点集中的严格支配关系求解出Pareto最优点集；

(4)手部姿态识别：在查询获得的Pareto最优点集中，根据欧式距离选取与圆心最近距离点，依据在树形模型下手势特征空间与姿态参数空间的映射关系获得最近距离点对应的手部姿态参数，实现手部姿态识别。

2.根据权利要求1所述的基于Pareto优化查询的手部姿态识别方法，其特征在于，步骤(3)中所述Pareto点集及Pareto最优点集的形成方法，包括如下步骤：

步骤A：根据需要布置n个视点C_i，其中i＝1,2,3,...n，利用Poser软件获得手部模型在不同视点下的图像构成手势图像库树形模型，每个叶子节点和它的祖先节点是同一个手势在不同视点下拍摄的图像，每一层节点是同一视点下不同手势的图像；

步骤B：按照模型库摄像机视点位置布置摄像机实拍目标手势，分别计算目标手势各视点下图像与模型库中对应视点层各节点的图像特征不相似度，各个视点层的不相似度可并行计算，即在计算C_i视点下目标手势图像与该视点层各图像的特征不相似度的同时，可同时计算C_j视点下目标手势图像与该视点层各图像的特征不相似度，其中i≠j；不同视点下的比较结果构建多维坐标系，每一维坐标分别代表目标手势与对应视点层各手势图像的特征不相似度，目标手势与图像库中手势s_i的的特征不相似度构成了点其中是与手势s_i在视点C₁层的图像特征不相似度，是与手势s_i在视点C₂层的图像特征不相似度，是与手势s_i在视点C₃层的图像特征不相似度，是与手势s_i在视点C_n层的图像特征不相似度，点d_i的维数由视点数n决定；与手势库中所有手势的匹配情况构成了Pareto点集D＝(d₁,d₂,...,d_m)，其中d₁是目标手势与树形模型中手势s₁在各视点下图像特征不相似度组成的多维数据点，d₂是目标手势与手势s₂在各视点下图像特征不相似度组成的多维数据点，d_m是目标手势与手势s_m在各视点下图像特征不相似度组成的多维数据点，m为手势库中手势个数；

步骤C：在Pareto点集D＝(d₁,d₂,...,d_m)中，如果点d_i和d_j满足：其中p＝1,2...,n，且有称元素d_i严格地支配元素d_j，记作其中是目标手势与树形模型中手势s_i在p视点下图像特征的不相似度，是目标手势与树形模型中手势s_j在p视点下图像特征的不相似度，是目标手势与树形模型中手势s_i在q视点下图像特征的不相似度，