[发明专利]基于全局-局部RGB-D多模态的手势识别方法

摘要

本发明公开了一种基于全局‑局部RGB‑D多模态的手势识别方法，本发明主要通过包括骨骼位置、RGB图像、深度图像和光流图像等数据模态对输入的手势视频进行表示，得到多模态的手势数据表示后，利用卷积神经网络和递归神经网络的方法把不同模态的手势数据分别进行特征表达，并且利用不同模态下得到的特征进行手势的分类。最终将不同模态下得到的不同类别的手势得分进行融合，得到最终基于多模态的手势分类结果。本发明可以应用于客户端或云端对用户输入的手势视频进行识别，通过手势的输入使计算机或手机软硬件做出对应的响应。

主权项

1.基于全局‑局部RGB‑D多模态的手势识别方法，其特征在于，包括下述步骤：S1、骨骼序列生成及基于骨骼数据的全局‑局部手势识别：给定输入的RGB‑D视频图片，利用多人姿态估计方法估计出每帧图片中人体骨骼的坐标位置，并根据整个视频获得的上半身的骨骼点，利用长短时记忆网络对上半身的骨骼点进行特征进行时序建模和分类，得到基于全局骨骼的手势分类得分Ss‑g；S2、基于全局‑局部的RGB‑D模态手势识别：对于RGB数据和深度数据的全局手势表示，首先分别将T帧的RGB和T帧深度图在通道沿时间进行堆叠，分别得到堆叠后的RGB图IRGB和T帧深度图IDepth，并且对VGG16卷积神经网络的输入通道进行改进，使其能够接受对应通道数目的数据输入；通过卷积神经网络的特征提取处理，分别在堆叠的RGB数据和堆叠的深度图获得对应的全局RGB特征xRGB‑g和全局深度特征和xDepth‑g；最后，利用神经网络的非线性分类方法分别获得基于全局的RGB手势分类得分SRGB‑g和全局的深度手势分类得分SDepth‑g；S3、基于全局‑局部的RGB光流和深度光流模态手势识别；分别在RGB视频数据和深度视频数据中提取光流信号，从而分别获得RGB光流和深度光流图片数据，光流是一种记录像素运动的方式，其主要记录了每个像素沿时间帧之间的运动方向和强度；S4、多模态的手势分类得分融合；在获得骨骼、RGB图、深度图、RGB光流图和深度光流图5种不同的数据模态的全局和局部手势分类得分Ss‑g，Ss‑l，SRGB‑g，SRGB‑l，SDepth‑g，SDepth‑l，SRGB‑f‑g，SRGB‑f‑l，SDepth‑f‑g和Sdepth‑f‑l后；基于以上的手势分类得分进行平均，并且利用归一化函数进行类别得分的归一化，最终获得不同手势类别的概率。