[发明专利]基于全局-局部RGB-D多模态的手势识别方法

权利要求书

1.基于全局-局部RGB-D多模态的手势识别方法，其特征在于，包括下述步骤：

S1、骨骼序列生成及基于骨骼数据的全局-局部手势识别：

给定输入的RGB-D视频图片， 利用多人姿态估计方法估计出每帧图片中人体骨骼的坐标位置，并根据整个视频获得的上半身的骨骼点，利用长短时记忆网络对上半身的骨骼点特征进行时序建模和分类，得到基于全局骨骼的手势分类得分；

S2、基于全局-局部的RGB-D模态手势识别：

对于RGB数据和深度数据的全局手势表示，首先分别将T帧的RGB和T帧深度图在通道沿时间进行堆叠，分别得到堆叠后的RGB图和T帧深度图，并且对VGG16卷积神经网络的输入通道进行改进，使其能够接受对应通道数目的数据输入；通过卷积神经网络的特征提取处理，分别在堆叠的RGB数据和堆叠的深度图获得对应的全局RGB特征和全局深度特征；最后，利用神经网络的非线性分类方法分别获得基于全局的RGB手势分类得分和全局的深度手势分类得分；

S3、基于全局-局部的RGB光流和深度光流模态手势识别；

分别在RGB视频数据和深度视频数据中提取光流信号，从而分别获得RGB光流和深度光流图片数据，光流是一种记录像素运动的方式，其主要记录了每个像素沿时间帧之间的运动方向和强度；

步骤S3中，利用TV-L1光流算法对光流图片进行计算，通过对RGB光流和深度光流的提取，分别获得全局和局部的RGB光流图片和全局和局部的深度光流图片，并且利用VGG16卷积神经网络对其进行分类，最终获得基于全局和局部的RGB光流的手势分类得分和，和基于全局和局部的深度光流的手势分类得分和；

S4、多模态的手势分类得分融合；

在获得骨骼、RGB图、深度图、RGB光流图和深度光流图5种不同的数据模态的全局和局部手势分类得分，，，，，，，，和后，其中，为局部骨骼的手势分类得分，为局部RGB图的手势分类得分，为局部深度图的手势分类得分；基于以上的手势分类得分进行平均，并且利用归一化函数进行类别得分的归一化，最终获得不同手势类别的概率。

2.根据权利要求1所述的基于全局-局部RGB-D多模态的手势识别方法，其特征在于，步骤S1中，还包括下述对手势做进一步的描述的步骤，具体为：

获取手部、肘部和肩部的骨骼点对骨骼数据进行局部描述，同样利用长短时记忆网络对获得的局部骨骼数据进行时序建模和分类，得到基于局部骨骼的手势分类得分。

3.根据权利要求1所述的基于全局-局部RGB-D多模态的手势识别方法，其特征在于，步骤S2中还包括局部RGB特征和局部深度特征的提取方法，具体为：

首先，通过将左右手、左右肘部和左右肩部对应的RGB图和深度图区域裁剪；

其次，将裁剪后的图片拼合成新的图片数据；

最后，根据拼接后得到的RGB图和深度图，同样先通过时间堆叠成多通道图片，再利用VGG16卷积神经网络进行特征提取和分类，最终获得基于局部RGB图和局部深度图的手势分类得分和。

4.根据权利要求1所述的基于全局-局部RGB-D多模态的手势识别方法，其特征在于，步骤S4中，所述归一化函数采用softmax归一化函数。