[发明专利]一种基于3D视频的运动手势识别方法

说明书

本发明公开了一种基于3D视频的运动手势识别方法，使用RGB摄像头、TOF摄像头采集运动手势视频数据，抽取视频的连续帧图片和光流图，结合深度信息图片，统一设计一个神经网络运动手势识别模型，使用深度学习框架进行模型训练；本发明核心在于对多源数据的整合建模，通过针对不同数据源(RGB图像、光流、深度信息)分别设计不同的网络模块，最终融合多个网络模块进行模型构建，使得模型能够充分图像数据进行共同决策预测手势，增强模型稳定性和准确率，以实现“一加一大于二”的手势识别解决方案。

技术领域

本发明涉及人工智能领域，具体为一种基于3D视频的运动手势识别方法。

背景技术

近几年，随着移动互联网的发展，智能终端产品频出不穷，这种移动交互设备包括头戴式和可穿戴设备(如VR眼镜、智能手表)。这种设备广泛采用诸如手势、触摸和语音的交互方案。触摸和语音方案较为成熟，但手势识别仍旧不够成熟，如何提高运动手势识别的准确率和稳定性成为新的挑战；而市场上常见的现有的运动手势识别技术如下：

1、光学感测RGB图像识别：该技术利用RGB图像进行建模，该方案具有一定的识别效果，但RGB图像仅包含有限视角的二维平面数据，这容易受到光线和视角的影响；2、多普勒效应超声波识别方案：设置声波发射器发射超声波，手势动作会影响超声波反射数据，进而利用超声波反射信号进行手势识别，该方案易受周围环境干扰，且距离有限；3、穿戴式设备(手套或其他)：在手部穿戴携带传感器的设备，传感器捕获到空间变化、压力变化等数据，利用这些数据进行手势识别。该方案需要额外的穿戴设备，体验不够好，且成本高，不易大范围推广；4、雷达(微波)：利用雷达信号的反射进行手势识别，该方案成本高昂，有安全隐患的担忧(微波遇到生物组织发热)，不易推广。为此提供一种基于3D视频的运动手势识别方法。

发明内容

本发明的目的是针对现有技术的缺陷，提供一种基于3D视频的运动手势识别方法，以解决上述背景技术提出的问题。

为实现上述目的，本发明提供如下技术方案：一种基于3D视频的运动手势识别方法，使用RGB摄像头、TOF摄像头采集运动手势视频数据，抽取视频的连续帧图片和光流图，结合深度信息图片，统一设计一个神经网络运动手势识别模型，使用深度学习框架进行模型训练；具体步骤如下：

S1：处理RGB视频、TOF摄像头深度信息数据，产出RGB图像、光流图像、深度信息图像；

针对摄像头设备采集到的RGB视频和TOF深度信息，进行建模处理准备，其中包括对视频进行抽帧转换RGB图像、计算视频数据的光流图像、处理TOF摄像头采集的手势深度信息，将深度信息转换为深度图片，用于后续建模准备；

S1.1设计处理RGB图像的神经网络模块；

针对连续帧RGB图像设计深度神经网络结构，采用卷积神经网络CNN、长短期存储器LSTM和softmax层进行网络结构的层次叠加，该层网络输出手势识别的结果，该层既作为网络模块用于后续最终模型的融合，也可以作为一个独立手势预测神经网络模型；

S1.2：设计处理光流图像的神经网络模块；

该步骤与S1.1模块网络结构类似，本质上仍旧是处理连续图片；

S1.3：设计处理深度信息图像的神经网络模块；

该步骤处理连续深度信息数据，仍旧是处理连续图片，只是深度信息图片只有一个通道，即每个像素点的深度数据，所以该模块的网络结构也可以不变，保持和S1.1一致；

S2：设计最终深度神经网络模型结构；