[发明专利]基于全局-局部RGB-D多模态的手势识别方法

说明书

本发明公开了一种基于全局‑局部RGB‑D多模态的手势识别方法，本发明主要通过包括骨骼位置、RGB图像、深度图像和光流图像等数据模态对输入的手势视频进行表示，得到多模态的手势数据表示后，利用卷积神经网络和递归神经网络的方法把不同模态的手势数据分别进行特征表达，并且利用不同模态下得到的特征进行手势的分类。最终将不同模态下得到的不同类别的手势得分进行融合，得到最终基于多模态的手势分类结果。本发明可以应用于客户端或云端对用户输入的手势视频进行识别，通过手势的输入使计算机或手机软硬件做出对应的响应。

技术领域

本发明涉及手势识别的技术领域，尤其是涉及一种基于全局-局部RGB-D多模态的手势识别方法。

背景技术

随着科技的发展，手势识别技术被运用得越来越广泛，现有的技术发明主要是通过RGB摄像头或RGB-D摄像头获得手势视频，根据RGB的单个模态或者RGB-D两个模态进行手势识别。但是现有技术也存在着诸多的缺点，主要缺点是单靠RGB和RGB-D的输入数据对手势视频进行全局的描述。然而基于全局描述的方法在手势识别问题上准确率远远没达到要求，并且目前没有很好的针对手势进行RGB-D特征提取的方法。

发明内容

本发明的主要目的在于克服现有技术的缺点与不足，提供一种基于全局-局部RGB-D多模态的手势识别方法，本发明通过多模态特征全局描述和局部描述的结合，有效地提升了手势识别的准确率，使之能够在现实生活场景中进行一定程度的应用。

为了达到上述目的，本发明采用以下技术发明：

本发明基于全局-局部RGB-D多模态的手势识别方法，包括下述步骤：

S1、骨骼序列生成及基于骨骼数据的全局-局部手势识别：

给定输入的RGB-D视频图片，利用多人姿态估计方法估计出每帧图片中人体骨骼的坐标位置，并根据整个视频获得的上半身的骨骼点，利用长短时记忆网络对上半身的骨骼点进行特征进行时序建模和分类，得到基于全局骨骼的手势分类得分S_s-g；

S2、基于全局-局部的RGB-D模态手势识别：

对于RGB数据和深度数据的全局手势表示，首先分别将T帧的RGB和T帧深度图在通道沿时间进行堆叠，分别得到堆叠后的RGB图I_RGB和T帧深度图I_Depth，并且对VGG16卷积神经网络的输入通道进行改进，使其能够接受对应通道数目的数据输入；通过卷积神经网络的特征提取处理，分别在堆叠的RGB数据和堆叠的深度图获得对应的全局RGB特征x_RGB-g和全局深度特征和x_Depth-g；最后，利用神经网络的非线性分类方法分别获得基于全局的RGB手势分类得分S_RGB-g和全局的深度手势分类得分S_Depth-g；

S3、基于全局-局部的RGB光流和深度光流模态手势识别；

分别在RGB视频数据和深度视频数据中提取光流信号，从而分别获得RGB光流和深度光流图片数据，光流是一种记录像素运动的方式，其主要记录了每个像素沿时间帧之间的运动方向和强度；

S4、多模态的手势分类得分融合；

在获得骨骼、RGB图、深度图、RGB光流图和深度光流图5种不同的数据模态的全局和局部手势分类得分S_s-g，S_s-l，S_RGB-g，S_RGB-l，S_Depth-g，S_Depth-l，S_RGB-f-g，S_RGB-f-l，S_Depth-f-g和S_depth-f-l后；基于以上的手势分类得分进行平均，并且利用归一化函数进行类别得分的归一化，最终获得不同手势类别的概率。