[发明专利]一种基于手势关键点的动态手势识别方法和系统

权利要求书

1.一种基于手势关键点的动态手势识别方法，其特征在于，包括以下步骤：

(1)获取视频图像序列中当前帧图像的多个手势关键点，针对每一个手势关键点，利用帧间差分法获取当前帧图像之前第n帧图像的对应手势关键点的位置坐标与当前帧图像之后第n帧图像的对应手势关键点的位置坐标之间的差值，并利用帧间差分法对该差值做微分处理，以得到当前帧图像在该手势关键点处的手势时域特征，对当前帧图像的所有手势关键点重复上述操作，从而得到当前帧图像的手势时域特征，其中n为自然数；

(2)对当前帧图像的所有手势关键点中的任意三个手势关键点执行以下操作：根据三个手势关键点各自的位置坐标计算三个手势关键点构成的多个向量中任意两个向量之间的夹角，并从得到的多个夹角中任选一个夹角作为当前帧图像的角度特征，利用帧间差分法获取当前帧图像之前第n帧图像对应的角度特征与当前帧图像之后第n帧图像对应的角度特征之间的差值，根据该差值获取当前帧图像中该三个手势关键点处的手势空域特征，针对当前帧图像中的所有手势关键点，重复上述操作，从而最终得到当前帧图像的手势空域特征；

(3)将步骤(1)中得到的当前帧图像的手势时域特征、以及步骤(2)中得到的当前帧图像的手势空域特征进行级联处理，以得到当前帧图像的中间特征；

(4)针对视频序列中的所有剩余帧图像，重复上述步骤(1)到步骤(3)，以得到视频序列的中间特征，并利用聚类算法对视频序列的中间特征进行特征降维，以得到该视频序列的中间特征的聚类中心；

(5)使用KNN算法分别计算当前帧图像与步骤(4)中得到的多个聚类中心之间的欧氏距离，从中选择欧氏距离最小的m个，为这m个聚类中心分别分配权重值，并建立m个聚类中心的每一个在步骤(4)中得到的全部聚类中心中的序号与其权重值之间的映射关系，第i个聚类中心的权重大小等于1/Ni，其中m是1到100之间的自然数，i为0到m之间的自然数，Ni表示第i个聚类中心与当前帧图像之间的欧氏距离在从小到大排列的所有m个欧氏距离中的排名；

(6)针对视频序列中的所有帧图像，重复上述步骤(5)的过程，从而得到所有帧图像对应的聚类中心的序号与权重值之间的映射关系，根据该映射关系构建该视频序列的特征直方图，该特征直方图中不同帧图像对应的同一聚类中心的权重值需要进行求和处理；

(7)以步骤(6)得到的视频序列的特征直方图作为输入，使用机器学习分类算法对视频序列进行分类，以得到最终的手势识别结果。

2.根据权利要求1所述的动态手势识别方法，其特征在于，n与整个视频图像序列的帧长之间的比值范围在1/5和1/5000之间，获取的手势关键点是二维、三维、或二者的组合。

3.根据权利要求1所述的动态手势识别方法，其特征在于，步骤(1)中的手势时域特征包括手势关键点的位置坐标、位置坐标的差值、以及微分处理后得到的结果，步骤(2)中的手势空域特征包括角度特征的差值、以及角度特征。

4.根据权利要求3所述的动态手势识别方法，其特征在于，在步骤(1)中，

差值处理的过程是采用以下公式：

其中f_t表示当前帧图像，表示当前帧图像的手势关键点的位置坐标，表示当前帧图像前n帧图像的手势关键点的位置坐标，表示当前帧图像后n帧图像的手势关键点的位置坐标，表示位置坐标的差值；

对差值做微分处理是采用以下公式：

其中表示对差值做微分处理后得到的结果。

5.根据权利要求3所述的动态手势识别方法，其特征在于，步骤(2)中的差值处理是采用以下公式：

其中表示角度特征之间的差值，θ_t+n表示当前帧图像之前第n帧图像对应的角度特征，θ_t-n表示当前帧图像之后第n帧图像对应的角度特征。

6.根据权利要求1所述的动态手势识别方法，其特征在于，步骤(3)具体是采用以下公式：

其中α、β、为常量系数，用于调节手势时域特征和手势空域特征在中间特征中的比重，α的取值范围是0.01到100，β的取值范围是0.01到100，的取值范围是0.01到100。