[发明专利]一种基于手势关键点的动态手势识别方法和系统

摘要

本发明公开了一种基于手势关键点的动态手势识别方法和系统，建模手势姿态的时空结构统计特性，构建过程包括以下步骤：在获取图像中的手势关键点后，利用帧间差分法，取前后几帧的对应手势关键点的位置坐标差，得到当前手势的时域特征；再选取当前图像中任意三个手势关键点的位置坐标，计算其构成的两个向量的夹角，得到当前手势的空域特征；将上述时域、空域特征级联得到中间特征利用K‑means算法对数据集中所有特征进行特征降维，得到一定数量的聚类中心；最后再以手势动作图像序列为单位，构建以聚类中心编号为横轴，各聚类中心权重为纵轴的动态手势时空域特征直方图。本发明能够有效的提高动态手势识别的准确率。

主权项

1.一种基于手势关键点的动态手势识别方法，其特征在于，包括以下步骤：(1)获取视频图像序列中当前帧图像的多个手势关键点，针对每一个手势关键点，利用帧间差分法获取当前帧图像之前第n帧图像的对应手势关键点的位置坐标与当前帧图像之后第n帧图像的对应手势关键点的位置坐标之间的差值，并利用帧间差分法对该差值做微分处理，以得到当前帧图像在该手势关键点处的手势时域特征，对当前帧图像的所有手势关键点重复上述操作，从而得到当前帧图像的手势时域特征，其中n为自然数；(2)对当前帧图像的所有手势关键点中的任意三个手势关键点执行以下操作：根据三个手势关键点各自的位置坐标计算三个手势关键点构成的多个向量中任意两个向量之间的夹角，并从得到的多个夹角中任选一个夹角作为当前帧图像的角度特征，利用帧间差分法获取当前帧图像之前第n帧图像对应的角度特征与当前帧图像之后第n帧图像对应的角度特征之间的差值，根据该差值获取当前帧图像中该三个手势关键点处的手势空域特征，针对当前帧图像中的所有手势关键点，重复上述操作，从而最终得到当前帧图像的手势空域特征；(3)将步骤(1)中得到的当前帧图像的手势时域特征、以及步骤(2)中得到的当前帧图像的手势空域特征进行级联处理，以得到当前帧图像的中间特征；(4)针对视频序列中的所有剩余帧图像，重复上述步骤(1)到步骤(3)，以得到视频序列的中间特征，并利用聚类算法对视频序列的中间特征进行特征降维，以得到该视频序列的中间特征的聚类中心；(5)使用KNN算法分别计算当前帧图像与步骤(4)中得到的多个聚类中心之间的欧氏距离，从中选择欧氏距离最小的m个，为这m个聚类中心分别分配权重值，并建立m个聚类中心的每一个在步骤(4)中得到的全部聚类中心中的序号与其权重值之间的映射关系，第i个聚类中心的权重大小等于1/Ni，其中m是1到100之间的自然数，i为0到m之间的自然数，Ni表示第i个聚类中心与当前帧图像之间的欧氏距离在从小到大排列的所有m个欧氏距离中的排名；(6)针对视频序列中的所有帧图像，重复上述步骤(5)的过程，从而得到所有帧图像对应的聚类中心的序号与权重值之间的映射关系，根据该映射关系构建该视频序列的特征直方图，该特征直方图中不同帧图像对应的同一聚类中心的权重值需要进行求和处理；(7)以步骤(6)得到的视频序列的特征直方图作为输入，使用机器学习分类算法对视频序列进行分类，以得到最终的手势识别结果。