[发明专利]一种基于3D视频的运动手势识别方法

权利要求书

1.一种基于3D视频的运动手势识别方法，使用RGB摄像头、TOF摄像头采集运动手势视频数据，抽取视频的连续帧图片和光流图，结合深度信息图片，统一设计一个神经网络运动手势识别模型，使用深度学习框架进行模型训练；其特征在于：具体步骤如下：

S1：处理RGB视频、TOF摄像头深度信息数据，产出RGB图像、光流图像、深度信息图像；

针对摄像头设备采集到的RGB视频和TOF深度信息，进行建模处理准备，其中包括对视频进行抽帧转换RGB图像、计算视频数据的光流图像、处理TOF摄像头采集的手势深度信息，将深度信息转换为深度图片，用于后续建模准备；

S1.1设计处理RGB图像的神经网络模块；

针对连续帧RGB图像设计深度神经网络结构，采用卷积神经网络CNN、长短期存储器LSTM和softmax层进行网络结构的层次叠加，该层网络输出手势识别的结果，该层既作为网络模块用于后续最终模型的融合，也可以作为一个独立手势预测神经网络模型；

S1.2：设计处理光流图像的神经网络模块；

该步骤与S1.1模块网络结构类似，本质上仍旧是处理连续图片；

S1.3：设计处理深度信息图像的神经网络模块；

该步骤处理连续深度信息数据，仍旧是处理连续图片，只是深度信息图片只有一个通道，即每个像素点的深度数据，所以该模块的网络结构也可以不变，保持和S1.1一致；

S2：设计最终深度神经网络模型结构；

截止该步骤前，已经完成了RGB图像、光流、深度信息图像3类数据源的网络结构设计，上述3类网络均输出每个手势的预测概率，本步骤对3个输出结果进行连接融合，形成一个3*N的特征集合，N为预测的手势数量，在后续叠加全连接层输出N个结果，即为最终模型的预测结果；至此总体的模型结构已经完成，该模型需要3类数据源同时参与训练，输出每一个手势的预测概率；

S3：使用RGB图像、光流、深度信息数据训练模型；该步骤为最终的训练环节，同时将3种数据送入模型结果进行网络训练。

2.根据权利要求1所述的一种基于3D视频的运动手势识别方法，其特征在于：所述S1中的RGB图像的生成，采用逐帧读取视频图像的方式进行存储。

3.根据权利要求1所述的一种基于3D视频的运动手势识别方法，其特征在于：所述S1中的视频光流图像生成，利用opencv计算光流的方法计算视频相邻图像之间的光流信息，生成光流图片存储。

4.根据权利要求1所述的一种基于3D视频的运动手势识别方法，其特征在于：所述S1中的深度信息图片生成，采集TOF摄像头返回的深度数据存储为PNG格式，其中深度图象中包含对应RGB图像相应点距离摄像头的距离信息，即该视角下可捕获的3D空间距离信息。

5.根据权利要求1所述的一种基于3D视频的运动手势识别方法，其特征在于：所述RGB摄像头是收集精确的彩色图像；TOF摄像头是收集深度信息图像，而且每个像素点大小代表改点距离拍摄源的距离信息。

6.根据权利要求1所述的一种基于3D视频的运动手势识别方法，其特征在于：所述神经网络运动手势识别模型的网络层的种类：3D卷积层：对连续帧图像进行时间上的卷积处理；3D池化层：对连续帧图片进行池化，改变图片尺寸；全连接层：用于连接前后网络层节点。