[发明专利]一种基于手势关键点的动态手势识别方法和系统

说明书

本发明公开了一种基于手势关键点的动态手势识别方法和系统，建模手势姿态的时空结构统计特性，构建过程包括以下步骤：在获取图像中的手势关键点后，利用帧间差分法，取前后几帧的对应手势关键点的位置坐标差，得到当前手势的时域特征；再选取当前图像中任意三个手势关键点的位置坐标，计算其构成的两个向量的夹角，得到当前手势的空域特征；将上述时域、空域特征级联得到中间特征利用K‑means算法对数据集中所有特征进行特征降维，得到一定数量的聚类中心；最后再以手势动作图像序列为单位，构建以聚类中心编号为横轴，各聚类中心权重为纵轴的动态手势时空域特征直方图。本发明能够有效的提高动态手势识别的准确率。

技术领域

本发明属于模式识别技术领域，更具体地，涉及一种基于手势关键点的动态手势识别方法和系统。

背景技术

动态手势识别一直是计算机视觉领域的研究热点之一，作为一种新兴的人机交互方式，动态手势识别在虚拟现实、智能家居、儿童早教、医用机器人等众多领域具有广阔的应用前景。虽然动态手势识别在许多领域都有着广泛的应用空间，也是近年来研究学者密切关注的研究方向，但在动态手势形成过程中，目标手势会快速移动，且其形状、姿态灵活多变，这为动态手势识别带来了很大难度；此外，当目标手势的背景图像复杂或者内容多变时，可能包含与目标手势特征相似的物体，这也为快速精准地实现动态手势识别带来了困难。

目前主流的动态手势识别方法可分为两种：第一种为基于模板匹配技术的方法，它将待识别手势的特征参数与预先存储的模板特征参数进行匹配，通过计算两者之间的相似度来完成识别任务，该方法具有简单便捷的优点，但其需要人工设计模板，从而导致拓展性差，准确率低；第二种为基于神经网络技术的方法，这种方法具有自主学习能力和分布性特点，能有效的抗抵噪声，并具有模式推广能力，然而，该方法需要大量的训练样本，且训练周期较长。

发明内容

针对现有技术的以上缺陷或改进需求，本发明提供了一种基于手势关键点的动态手势识别方法和系统，其目的在于，解决现有动态手势识别方法中存在的由于需要人工设计模板所导致的拓展性差、准确率低的技术问题，以及由于需要大量训练样本所导致的训练周期长的技术问题。

为实现上述目的，按照本发明的一个方面，提供了一种基于手势关键点的动态手势识别方法，包括以下步骤：

(1)获取视频图像序列中当前帧图像的多个手势关键点，针对每一个手势关键点，利用帧间差分法获取当前帧图像之前第n帧图像的对应手势关键点的位置坐标与当前帧图像之后第n帧图像的对应手势关键点的位置坐标之间的差值，并利用帧间差分法对该差值做微分处理，以得到当前帧图像在该手势关键点处的手势时域特征，对当前帧图像的所有手势关键点重复上述操作，从而得到当前帧图像的手势时域特征，其中n为自然数；

(2)对当前帧图像的所有手势关键点中的任意三个手势关键点执行以下操作：根据三个手势关键点各自的位置坐标计算三个手势关键点构成的多个向量中任意两个向量之间的夹角，并从得到的多个夹角中任选一个夹角作为当前帧图像的角度特征，利用帧间差分法获取当前帧图像之前第n帧图像对应的角度特征与当前帧图像之后第n帧图像对应的角度特征之间的差值，根据该差值获取当前帧图像中该三个手势关键点处的手势空域特征，针对当前帧图像中的所有手势关键点，重复上述操作，从而最终得到当前帧图像的手势空域特征；

(3)将步骤(1)中得到的当前帧图像的手势时域特征、以及步骤(2)中得到的当前帧图像的手势空域特征进行级联处理，以得到当前帧图像的中间特征；

(4)针对视频序列中的所有剩余帧图像，重复上述步骤(1)到步骤(3)，以得到视频序列的中间特征，并利用聚类算法对视频序列的中间特征进行特征降维，以得到该视频序列的中间特征的聚类中心；