[发明专利]一种基于李群和长短时记忆网络的手势识别方法

权利要求书

1.一种基于李群和长短时记忆网络的手势识别方法，其特征在于，主要包括以下步骤：

1)获取所述动态手势骨骼视频，并逐帧提取手部骨骼图像；

2)对手部骨骼图像进行预处理；

3)提取手部骨骼图像的骨骼关节点数据，并打上分类标签；利用李群数据集S(t)表示动态手势中骨骼间刚体变换的三维几何关系，并通过对数映射将李群数据集S(t)转换为对应的李代数数据s(t)。

4)建立LSTM神经网络模型，并利用李代数数据s(t)训练LSTM神经网络模型；

5)获取待检测手势骨骼图像，并提取待检测手势骨骼图像的李代数数据s'(t)；将李代数数据s'(t)输入到训练后的LSTM神经网络模型中，实现手势识别。

2.根据权利要求1或2所述的一种基于李群和长短时记忆网络的手势识别方法，其特征在于，获取动态手势骨骼视频的装置为摄像头。

3.根据权利要求1所述的一种基于李群和长短时记忆网络的手势识别方法，其特征在于，对手部骨骼图像进行预处理的主要步骤为：

1)对不同动态手势视频提取的手部骨骼图像数量进行统一，确保不同动态手势视频的手部骨骼图像数量一致；

2)对手部骨骼图像归一化，确保所有手部骨骼图像中手部骨骼尺寸一致。

4.根据权利要求1所述的一种基于李群和长短时记忆网络的手势识别方法，其特征在于，利用李群特征数据表示动态手势中骨骼间刚体变换的三维几何关系的主要步骤如下：

1)提取手部骨骼图像的手部骨骼数据集S＝(V，E)；其中V＝{v₁，v₂，…v_N}为手部关节点数据集，N为关节点数，E＝{e₁，e₂，…e_M}表示关节点间的刚性骨骼数据集；M为骨骼数；

2)提取关节点间的刚性骨骼数据集的相邻骨骼对(e_n，e_m)，在t时刻对骨骼e_n进行旋转平移，令骨骼e_n和骨骼e_m重合，并对骨骼e_m进行旋转平移，令骨骼e_m和骨骼e_n重合；n初始值为1；

骨骼e_n和骨骼e_m的三维刚性变换关系如下：

式中，R_m,n(t)表示骨骼e_n到骨骼e_m的旋转矩阵；表示骨骼e_n到骨骼e_m的平移向量；SE(A)表示特殊欧氏群；

骨骼e_m和骨骼e_n的三维刚性变换关系如下：

式中，R_n,m(t)表示骨骼e_m到骨骼e_n的旋转矩阵；表示骨骼e_n到骨骼e_m的平移向量；

3)令n＝n+1，并重复步骤2)，直至对所有骨骼均进行三维刚体变换，并建立变换后的李群数据集S(t)，即：

S(t)＝(P_1,2(t),P_2,1(t),...,P_M-1,M(t),P_M,M-1(t))∈SE(A)×...×SE(A)； (3)

式中，M为骨骼数，SE(A)×...×SE(A)表示李群空间曲线；

4)利用对数映射将李群数据集S(t)变换为李代数数据s(t)，即：

其中，vec(.)表示向量，log(.)表示对数映射；A为维数。

5.根据权利要求1所述的一种基于李群和长短时记忆网络的手势识别方法，其特征在于，A＝3。